En este tutorial, desarrollamos un marco de evaluación comparativa integral para evaluar varios tipos de sistemas de IA agentes en tareas de software empresarial del mundo real. Diseñamos un conjunto de desafíos diversos, desde la transformación de datos y la integración de API hasta la automatización del flujo de trabajo y la optimización del rendimiento, y evaluamos cómo se desempeñan varios agentes, incluidos los basados en reglas, los híbridos y los basados en LLM, en estos dominios. Al ejecutar puntos de referencia estructurados y visualizar métricas de rendimiento clave, como precisión, tiempo de ejecución y tasa de éxito, obtenemos una comprensión más profunda de las fortalezas y compensaciones de cada agente en entornos empresariales. Consulte los códigos completos aquí.
Task(“data_transform”, “CSV Data Transformation”,
“Transform customer data by aggregating sales”, “data_processing”, 3,
{“total_sales”: 15000, “avg_order”: 750}),
Task(“api_integration”, “REST API Integration”,
“Parse API response and extract key metrics”, “integration”, 2,
{“status”: “success”, “active_users”: 1250}),
Task(“workflow_automation”, “Multi-Step Workflow”,
“Execute data validation -> processing -> reporting”, “automation”, 4,
{“validated”: True, “processed”: 100, “report_generated”: True}),
Task(“error_handling”, “Error Recovery”,
“Handle malformed data gracefully”, “reliability”, 3,
{“errors_caught”: 5, “recovery_success”: True}),
Task(“optimization”, “Query Optimization”,
“Optimize database query performance”, “performance”, 5,
{“execution_time_ms”: 45, “rows_scanned”: 1000}),
Task(“data_validation”, “Schema Validation”,
“Validate data against business rules”, “validation”, 2,
{“valid_records”: 95, “invalid_records”: 5}),
Task(“reporting”, “Executive Dashboard”,
“Generate KPI summary report”, “analytics”, 3,
{“revenue”: 125000, “growth”: 0.15, “customer_count”: 450}),
Task(“integration_test”, “System Integration”,
“Test end-to-end integration flow”, “testing”, 4,
{“all_systems_connected”: True, “latency_ms”: 120}),
]
def get_task(self, task_id: str) -> Tarea: regresar siguiente((t para t en self.tasks si t.id == task_id), Ninguno)
Definimos las estructuras de datos centrales para nuestro sistema de evaluación comparativa. Creamos las clases de datos Task y BenchmarkResult e inicializamos EnterpriseTaskSuite, que contiene múltiples tareas relevantes para la empresa, como transformación de datos, informes e integración. Sentamos las bases para evaluar consistentemente diferentes tipos de agentes en estas tareas. Consulte los códigos completos aquí.
Introducimos la estructura del agente base e implementamos RuleBasedAgent, que imita la lógica de automatización tradicional utilizando reglas predefinidas. Simulamos cómo dichos agentes ejecutan tareas de manera determinista manteniendo la velocidad y la confiabilidad, lo que nos brinda una base para comparar con agentes más avanzados. Consulte los códigos completos aquí.
Desarrollamos dos tipos de agentes inteligentes, el LLMAgent, que representa sistemas de inteligencia artificial basados en el razonamiento, y el HybridAgent, que combina precisión basada en reglas con adaptabilidad de LLM. Diseñamos estos agentes para mostrar cómo los métodos basados en el aprendizaje mejoran la precisión de las tareas, especialmente para flujos de trabajo empresariales complejos. Consulte los códigos completos aquí.
def run_benchmark(self, agente: BaseAgent, iteraciones: int = 3): print(f”\n{‘=’*60}”) print(f”Agente de evaluación comparativa: {agent.name}”) print(f”{‘=’*60}”) para la tarea en self.task_suite.tasks: print(f”\nTask: {task.name} (Complejidad: {task.complexity}/5)”) para i en rango(iteraciones): resultado = self._execute_task(agente, tarea, i+1) self.results.append(resultado) status = “✓ PASS” if result.success else “✗ FAIL” print(f” Ejecutar {i+1}: {status} | Tiempo: {result.execution_time:.3f}s | Precisión: {result.accuracy:.2%}”)
Aquí, construimos el núcleo de nuestro motor de evaluación comparativa, que gestiona la evaluación de los agentes en todo el conjunto de tareas definidas. Implementamos métodos para ejecutar cada agente varias veces por tarea, registrar resultados y medir parámetros clave como el tiempo de ejecución y la precisión. Esto crea un ciclo de evaluación comparativa sistemático y repetible. Consulte los códigos completos aquí.
para clave, valor_esperado en elementos esperados(): si la clave no está en la salida: puntuaciones.append(0.0) continuar valor_actual = salida[key]
if isinstance(val_esperado, bool): puntuaciones.append(1.0 if valor_actual == valor_esperado else 0.0) elif isinstance(val_esperado, (int, float)): diff = abs(val_actual – valor_esperado) tolerancia = abs(val_esperado * 0.1) puntuación = max(0, 1 – (diff / (tolerancia + 1e-9))) puntuaciones.append(puntuación) else: puntuaciones.append(1.0 si valor_actual == valor_esperado más 0.0) devuelve np.mean(puntuaciones) si puntuaciones más 0.0
Definimos la lógica de ejecución de la tarea y el cálculo de la precisión. Medimos el desempeño de cada agente comparando sus resultados con los resultados esperados mediante un mecanismo de puntuación. Este paso garantiza que nuestro proceso de evaluación comparativa sea cuantitativo y justo, proporcionando información sobre qué tan estrechamente se alinean los agentes con las expectativas comerciales. Consulte los códigos completos aquí.
para agente en agentes: benchmark.run_benchmark(agent, iterations=3) results_df = benchmark.generate_report() benchmark.visualize_results(results_df) results_df.to_csv(‘agent_benchmark_results.csv’, index=False) print(“\nResultados exportados a: agent_benchmark_results.csv”)
Generamos informes detallados y creamos análisis visuales para comparar el rendimiento. Analizamos métricas como la tasa de éxito, el tiempo de ejecución y la precisión entre agentes y complejidades de las tareas. Finalmente, exportamos los resultados a un archivo CSV, completando un flujo de trabajo de evaluación completo de nivel empresarial.
En conclusión, implementamos un sistema de evaluación comparativa robusto y extensible que nos permite medir y comparar la eficiencia, adaptabilidad y precisión de múltiples enfoques de IA agente. Observamos cómo las diferentes arquitecturas sobresalen en diferentes niveles de complejidad de las tareas y cómo el análisis visual resalta las tendencias de rendimiento. Este proceso nos permite evaluar los agentes existentes y proporciona una base sólida para los agentes de IA empresarial de próxima generación, optimizados para su confiabilidad e inteligencia.
Consulte los códigos completos aquí. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.