Gaia: el agente de LLM compare de todos los que están hablando de todos

Estuvieron en los titulares la semana pasada.

En Microsoft’s Build 2025, la CEO Satya Nadella presentó la visión de una “red de agente abierta” y mostró un nuevo copilot de GitHub que sirve como un compañero de equipo de varios agentes impulsado por Azure Ai Foundry.

La E/S 2025 de Google siguió rápidamente con una variedad de AI agente Innovaciones: el nuevo modo de agente en Gemini 2.5, la beta abierta del asistente de codificación Jules y el soporte nativo para el protocolo de contexto modelo, que permite una colaboración más suave entre agentes.

Operai tampoco está sentado quieto. Actualizaron a su operador, el agente de navegación web, al nuevo modelo O3, que trae más autonomía, razonamiento y conciencia contextual a las tareas cotidianas.

En todos los anuncios, una palabra clave sigue apareciendo: Gaia. Todos parecen estar corriendo para informar sus puntajes GAIA, pero ¿sabes realmente qué es?

Si tiene curiosidad por aprender más sobre lo que está detrás de los puntajes de Gaia, está en el lugar correcto. En este blog, desempaquemos el Gaia Punto de referencia Y discuta qué es, cómo funciona y por qué debería preocuparse por esos números al elegir las herramientas de agentes de LLM.

1. Evaluación de la IA agente: de problema a solución

LLM Los agentes son sistemas AI que usan LLM como el núcleo que puede realizar tareas de forma autónoma combinando la comprensión del lenguaje natural, con razonamiento, planificación, memoria y uso de herramientas.

A diferencia de un LLM estándar, no son solo respondedores pasivos para las indicaciones. En cambio, inician acciones, se adaptan al contexto y colaboran con humanos (o incluso con otros agentes) para resolver tareas complejas.

A medida que estos agentes se vuelven más capaces, una pregunta importante sigue naturalmente: ¿cómo descubrimos qué tan buenos son?

Necesitamos evaluaciones de referencia estándar.

Durante un tiempo, la comunidad de LLM se ha basado en puntos de referencia que fueron excelentes para probar habilidades específicas de LLM, por ejemplo, el conocimiento del conocimiento sobre MMLUrazonamiento aritmético en GSM8Kgeneración de código de nivel de fragmento en Humanalo comprensión de lenguaje de un solo giro en Superpágina.

Estas pruebas son ciertamente valiosas. Pero aquí está la captura: Evaluar un asistente de IA de pleno derecho es un totalmente Juego diferente.

Un asistente necesita de forma autónoma plan, decidiry acto en múltiples pasos. Estas habilidades dinámicas y del mundo real no fueron el foco principal de esos paradigmas de evaluación “más antiguos”.

Esto destacó rápidamente una brecha: necesitamos una forma de medir esa inteligencia práctica general.

Entra Gaia.

2. Gaia Desempaquetado: ¿Qué hay debajo del capó?

Gaia representa GRAMOenérgico AI Apunto de referencia de SSistants [1]. Este punto de referencia se introdujo para evaluar específicamente a los agentes de LLM sobre su capacidad para actuar como asistentes de IA de uso general. Es el resultado de un esfuerzo de colaboración de investigadores de meta-fair, meta-genai, abrazando la cara y otros asociados con la iniciativa AutoGpt.

Para comprender mejor, desglosemos este punto de referencia mirando su estructura, cómo obtiene resultados y qué lo hace diferente de otros puntos de referencia.

2.1 Estructura de Gaia

Gaia es fundamentalmente un punto de referencia impulsado por las preguntas donde los agentes de LLM tienen la tarea de resolver esas preguntas. Esto requiere que demuestren un amplio conjunto de habilidades, que incluyen, entre otros::

• Razonamiento lógico
• Comprensión multimodalidad, por ejemplo, interpretación de imágenes, datos presentados en formatos no textuales, etc.
• Navegación web para recuperar información
• Uso de varias herramientas de software, por ejemplo, intérpretes de código, manipuladores de archivos, etc.
• Planificación estratégica
• Información agregada de fuentes dispares

Echemos un vistazo a una de las preguntas de Gaia “duras”.

¿Cuál de las frutas que se muestran en la pintura de 2008? Bordado de Uzbekistán fueron servidos como parte del Menú de desayuno de octubre de 1949 para el delineador del océano más tarde utilizado como accesorio flotante en la película El último viaje? Dé los elementos como una lista separada por comas, ordenándolos en sentido horario desde la posición de las 12 en punto en la pintura y usando la forma plural de cada fruta.

Resolver esta pregunta obliga a un agente a (1) Realice el reconocimiento de imágenes para etiquetar las frutas en la pintura, (2) Investigar trivia para aprender el nombre del barco, (3) recuperar y analizar un menú histórico de 1949, (4) intersectar las dos listas de frutas y (5) formatear la respuesta exactamente como se solicita. Esto muestra múltiples pilares de habilidad de una vez.

En total, el punto de referencia consta de 466 preguntas curadas. Se dividen en un Conjunto de desarrollo/validaciónque es público y un privado set de prueba De 300 preguntas, las respuestas a las que se retienen para alimentar la tabla de clasificación oficial. Una característica única de Gaia es que están diseñadas para tener respuestas de hecho inequívocas. Esta característica simplifica enormemente el proceso de evaluación y también garantiza la consistencia en la puntuación.

Las preguntas de GAIA están estructuradas en función de tres niveles de dificultad. La idea detrás de este diseño es investigar las capacidades progresivamente más complejas:

• Nivel 1: Estas tareas están destinadas a ser solucionables por LLM muy competentes. Por lo general, requieren menos de cinco pasos para completar e solo implican un uso mínimo de herramientas.
• Nivel 2: Estas tareas exigen un razonamiento más complejo y el uso adecuado de múltiples herramientas. La solución generalmente implica entre cinco y diez pasos.
• Nivel 3: Estas tareas representan las tareas más desafiantes dentro del punto de referencia. Responder con éxito esas preguntas requeriría una planificación a largo plazo y la sofisticada integración de diversas herramientas.

Ahora que entendemos qué pruebas Gaia, examinemos cómo mide el éxito.

2.2 La puntuación de Gaia

El rendimiento de un agente LLM se mide principalmente a lo largo de dos dimensiones principales, exactitud y costo.

Para precisión, esta es, sin duda, la métrica principal para evaluar el rendimiento. Lo especial de Gaia es que la métrica de precisión generalmente no se informa como un puntaje general en todas las preguntas. Además, puntajes individuales También se informa que cada uno de los tres niveles de dificultad ofrece un desglose claro de las capacidades de un agente al manejar preguntas con diferentes complejidades.

Para el costo, se mide en USD y refleja el costo total de API incurrido por un agente para intentar todas las tareas en el conjunto de evaluación. La métrica de costos es muy valiosa en la práctica porque evalúa el eficiencia y rentabilidad de desplegar al agente en el mundo real. Un agente de alto rendimiento que incurre en costos excesivos no sería práctico a escala. En contraste, un modelo rentable podría ser más preferible en la producción, incluso cuando logra una precisión ligeramente menor.

Para darle una sensación más clara de cómo se ve realmente la precisión en la práctica, considere los siguientes puntos de referencia:

• Los humanos alcanzan alrededor del 92% de precisión en las tareas de GAIA.
• Como comparación, los agentes tempranos de LLM (alimentados por GPT-4 con soporte de complementos) comenzaron con puntajes de alrededor del 15%.
• Los agentes más recientes de alto rendimiento, por ejemplo, H2ogpte de H2O.AI (alimentado por Claude-3.7-Sonnet), han entregado ~ 74%de puntaje general, con puntajes de nivel 1/2/3 que son 86%, 74.8%y 53%, respectivamente.

Estos números muestran cuánto han mejorado los agentes, pero también muestran cómo sigue siendo Gaia desafiante, incluso para los principales sistemas de agentes de LLM.

Pero, ¿qué hace que la dificultad de Gaia sea tan significativa para evaluar las capacidades de los agentes del mundo real?

2.3 Principios rectores de Gaia

Lo que hace que Gaia se destaque no es solo que sea difícil; Es que la dificultad está cuidadosamente diseñada para Prueba los tipos de habilidades que los agentes necesitan en escenarios prácticos del mundo real. Detrás de este diseño hay algunos principios importantes:

• Dificultad del mundo real: Las tareas de GAIA son desafiantes intencionalmente. Por lo general, requieren razonamiento de varios pasos, comprensión intermodal y el uso de herramientas o API. Esos requisitos reflejan de cerca los tipos de tareas que enfrentarían los agentes en aplicaciones reales.
• Interpretabilidad humana: A pesar de que estas tareas pueden ser desafiantes para los agentes de LLM, siguen siendo intuitivamente comprensibles para los humanos. Esto facilita a los investigadores y profesionales analizar los errores y el comportamiento de los agentes traza.
• No gameabilidad: Obtener la respuesta correcta significa que el agente tiene que resolver completamente la tarea, no solo adivinar o usar la coincidencia de patrones. GAIA también desalienta el sobreajuste al requerir rastros de razonamiento y evitar preguntas con respuestas fácilmente de búsqueda.
• Simplicidad de la evaluación: Las respuestas a las preguntas de Gaia están diseñadas para ser conciso, hecho e inequívoco. Esto permite la puntuación automatizada (y objetiva), lo que hace que las comparaciones a gran escala sean más confiables y reproducibles.

Con una comprensión más clara de Gaia bajo el capó, la siguiente pregunta es: ¿cómo debemos interpretar estos puntajes cuando los vemos en trabajos de investigación, anuncios de productos o comparaciones de proveedores?

3. Poner los puntajes de Gaia para trabajar

No todos los puntajes GAIA son iguales, y los números de titulares deben tomarse con una pizca de sal. Aquí hay cuatro cosas clave a tener en cuenta:

1. Priorizar los resultados del conjunto de pruebas privadas. Al mirar las puntuaciones de Gaia, recuerde siempre verificar cómo se calculan los puntajes. ¿Se basa en el conjunto de validación pública o en el conjunto de pruebas privadas? Las preguntas y respuestas para el conjunto de validación están ampliamente disponibles en línea. Por lo tanto, es muy probable que los modelos los hayan “memorizados” durante su entrenamiento en lugar de obtener soluciones del razonamiento genuino. El conjunto de pruebas privadas es el “examen real”, mientras que el conjunto público es más un “examen de libro abierto”.
2. Mire más allá de la precisión general, profundice en los niveles de dificultad. Si bien el puntaje de precisión general da una idea general, a menudo es mejor analizar más profundamente cómo se desempeña exactamente el agente para diferentes niveles de dificultad. Preste especial atención a las tareas de Nivel 3, porque un fuerte rendimiento allí indica avances significativos en las capacidades de un agente para la planificación a largo plazo y el uso y la integración sofisticadas de herramientas.
3. Buscar soluciones rentables. Siempre apunte a identificar a los agentes que ofrecen el mejor rendimiento por un costo determinado. Estamos viendo un progreso significativo aquí. Por ejemplo, la reciente arquitectura del gráfico de conocimiento de los pensamientos (KGOT) [2] Puede resolver hasta 57 tareas del conjunto de validación de GAIA (165 tareas totales) a aproximadamente $ 5 de costo total con GPT-4O Mini, en comparación con las versiones anteriores de los agentes faciales que resuelven alrededor de 29 tareas a $ 187 usando GPT-4O.
4. Tenga en cuenta las posibles imperfecciones del conjunto de datos. Alrededor del 5% de los datos de GAIA (en conjuntos de validación y prueba) contienen errores/ambigüedades en las respuestas de la verdad en tierra. Si bien esto hace que la evaluación sea difícil, hay un revestimiento plateado: las pruebas de los agentes de LLM en preguntas con respuestas imperfectas pueden mostrar claramente qué agentes realmente razonan versus simplemente derramar sus datos de entrenamiento.

4. Conclusión

En esta publicación, hemos desempacado el Gaia, un punto de referencia de evaluación de agentes que se ha convertido rápidamente en la opción de referencia en el campo. Los puntos principales para recordar:

1. Gaia es una verificación de la realidad para asistentes de IA. Está específicamente diseñado para probar un conjunto sofisticado de habilidades de los agentes de LLM como asistentes de IA. Estas habilidades incluyen razonamiento complejo, manejo de diferentes tipos de información, navegación web y el uso de varias herramientas de manera efectiva.
2. Mira más allá de los números de titulares. Verifique la fuente del conjunto de pruebas, los desgloses de dificultad y la rentabilidad.

GAIA representa un paso significativo para evaluar los agentes de LLM de la forma en que realmente queremos usarlos: como asistentes autónomos que pueden manejar los desafíos desordenados y multifacéticos del mundo real.

Tal vez surgirán nuevos marcos de evaluación, pero los principios centrales de Gaia, la relevancia del mundo real, la interpretabilidad humana y la resistencia a los juegos, probablemente se mantendrán centrales en la forma en que medimos los agentes de la IA.

Referencias

[1] Mialon et al. Gaia: un punto de referencia para asistentes generales de IA2023, Arxiv.

[2] Besta et al., Asistentes de IA asequibles con gráfico de conocimiento de pensamientos2025, Arxiv.