La llegada de los LLM ha impulsado avances en IA durante décadas. Una de esas aplicaciones avanzadas de los LLM son los agentes, que replican notablemente el razonamiento humano. Un agente es un sistema que puede realizar tareas complicadas siguiendo un proceso de razonamiento similar al de los humanos: pensar (solución al problema), recopilar (contexto de información pasada), analizar (las situaciones y datos) y adaptarse (según el estilo). y retroalimentación). Los agentes alientan el sistema a través de actividades dinámicas e inteligentes, incluida la planificación, el análisis de datos, la recuperación de datos y la utilización de experiencias pasadas del modelo.
Un agente típico tiene cuatro componentes:
- Cerebro: Un LLM con capacidades de procesamiento avanzadas, como indicaciones.
- Memoria: Para almacenar y recuperar información.
- Planificación: Descomponer las tareas en subsecuencias y crear planes para cada una.
- Herramientas: Conectores que integran los LLM con el entorno externo, similar a unir dos piezas de LEGO. Las herramientas permiten a los agentes realizar tareas únicas combinando LLM con bases de datos, calculadoras o API.
Ahora que hemos establecido las maravillas de los agentes para transformar un LLM ordinario en una herramienta especializada e inteligente, es necesario evaluar la efectividad y confiabilidad de un agente. Evaluación del agente no sólo comprueba la calidad del marco en cuestión, sino que también identifica los mejores procesos y reduce las ineficiencias y los cuellos de botella. Este artículo analiza cuatro formas de medir la eficacia de un agente.
- Agente como juez: Es la evaluación de la IA por la IA y para la IA. Los LLM asumen los roles de juez, supervisor y examinado en este acuerdo. El juez examina la respuesta del examinado y dicta su decisión basándose en la precisión, integridad, relevancia, puntualidad y rentabilidad. El examinador coordina entre el juez y el examinado proporcionando las tareas objetivo y obteniendo la respuesta del juez. El examinador también ofrece descripciones y aclaraciones al examinado LLM. El marco “Agente como juez” tiene ocho módulos interactivos. Los agentes desempeñan el papel de jueces mucho mejor que los LLM, y este enfoque tiene una alta tasa de alineación con la evaluación humana. Un ejemplo de ello es la evaluación de OpenHands, donde la evaluación del agente obtuvo un rendimiento un 30 % mejor que la evaluación de LLM.
- Marco de evaluación de aplicaciones agentes (AAEF) Evalúa el desempeño de los agentes en tareas específicas. Los resultados cualitativos como la eficacia, la eficiencia y la adaptabilidad se miden para los agentes a través de cuatro componentes: eficacia en la utilización de herramientas (TUE), coherencia y recuperación de la memoria (MCR), índice de planificación estratégica (SPI) y puntuación de sinergia de componentes (CSS). Cada uno de ellos se especializa en diferentes criterios de evaluación, desde la selección de herramientas adecuadas hasta la medición de la memoria, la capacidad de planificar y ejecutar y la capacidad de trabajar de forma coherente.
- IA MOSAICA: El marco de evaluación Mosaic AI Agent, anunciado por Databricks, resuelve múltiples desafíos simultáneamente. Ofrece un conjunto unificado de métricas, que incluyen, entre otras, exactitud, precisión, recuperación y puntuación F1, para facilitar el proceso de elección de las métricas adecuadas para la evaluación. Integra aún más la revisión y la retroalimentación humana para definir respuestas de alta calidad. Además de proporcionar una sólida línea de evaluación, Mosaic AI también tiene integración MLFlow para llevar el modelo del desarrollo a la producción mientras lo mejora. Mosaic AI también proporciona un SDK simplificado para la gestión del ciclo de vida de las aplicaciones.
- WORFEVAL: Es un protocolo sistemático que ayuda a evaluar las capacidades de flujo de trabajo de un agente de LLM a través de algoritmos cuantitativos basados en subsecuencias avanzadas y coincidencia de subgrafos. Esta técnica de evaluación compara las cadenas de nodos y los gráficos de flujo de trabajo previstos con los flujos correctos. WORFEVAL se encuentra en el extremo avanzado del espectro, donde la aplicación del agente se realiza en estructuras complejas como gráficos acíclicos dirigidos en un escenario multifacético.
Cada uno de los métodos anteriores ayuda a los desarrolladores a probar si su agente está funcionando satisfactoriamente y a encontrar la configuración óptima, pero tienen sus desventajas. Discutir el juicio del agente primero podría cuestionarse en tareas complejas que requieren un conocimiento profundo. ¡Siempre se podría preguntar sobre la competencia del profesor! Incluso los agentes entrenados con datos específicos pueden tener sesgos que dificulten la generalización. La AAEF enfrenta un destino similar en tareas complejas y dinámicas. MOSAIC AI es buena, pero su credibilidad disminuye a medida que aumenta la escala y la diversidad de los datos. En el extremo más alto del espectro, WORFEVAL funciona bien incluso con datos complejos, pero su rendimiento depende del flujo de trabajo correcto, que es una variable aleatoria: la definición del flujo de trabajo correcto cambia de una computadora a otra.
Conclusión: Los agentes son un intento de hacer que los LLM sean más humanos con capacidades de razonamiento y toma de decisiones inteligente. Por lo tanto, la evaluación de los agentes es imperativa para garantizar sus afirmaciones y su calidad. Agentes como juez, el marco de evaluación de aplicaciones Agentic, Mosaic AI y WORFEVAL son las principales técnicas de evaluación actuales. Mientras Agents as Judge comienza con la idea intuitiva básica de la revisión por pares, WORFEVAL trata con datos complejos. Aunque estos métodos de evaluación funcionan bien en sus respectivos contextos, enfrentan dificultades a medida que las tareas se vuelven más complejas con estructuras complicadas.
Adeeba Alam Ansari actualmente está cursando su doble titulación en el Instituto Indio de Tecnología (IIT) de Kharagpur, donde obtuvo una licenciatura en Ingeniería Industrial y una maestría en Ingeniería Financiera. Con un gran interés en el aprendizaje automático y la inteligencia artificial, es una lectora ávida y una persona curiosa. Adeeba cree firmemente en el poder de la tecnología para empoderar a la sociedad y promover el bienestar a través de soluciones innovadoras impulsadas por la empatía y una profunda comprensión de los desafíos del mundo real.