A medida que los agentes de IA pasan de las demostraciones de investigación a las implementaciones de producción, una pregunta se ha vuelto imposible de ignorar: ¿cómo se sabe realmente si un agente es bueno? Las puntuaciones de perplejidad y los números de la clasificación MMLU dicen muy poco sobre si un modelo puede navegar en un sitio web real, resolver un problema de GitHub o manejar de manera confiable un flujo de trabajo de servicio al cliente a través de cientos de interacciones. El campo ha respondido con una ola de puntos de referencia agentes, pero no todos son igualmente significativos.
Una advertencia importante antes de profundizar: las puntuaciones de referencia de los agentes dependen en gran medida del andamio. El modelo, el diseño rápido, el acceso a las herramientas, el presupuesto de reintentos, el entorno de ejecución y la versión del evaluador pueden cambiar materialmente las puntuaciones reportadas. Ningún número debe leerse de forma aislada; el contexto sobre cómo se produjo es tan importante como el número en sí.
Con eso en mente, aquí hay siete puntos de referencia que han surgido como señales genuinas de capacidad agente, explicando qué prueba cada uno, por qué es importante y dónde se encuentran actualmente los resultados notables.
1. SWE-bench verificado
🔗 Tabla de clasificación y detalles: swebench.com
Qué prueba: Ingeniería de software del mundo real. SWE-bench evalúa los LLM y los agentes de inteligencia artificial según su capacidad para resolver problemas de ingeniería de software del mundo real, a partir de 2294 problemas provenientes de problemas de GitHub en 12 repositorios populares de Python. El agente debe producir un parche que funcione, no una descripción de una solución, sino un código real que pase las pruebas unitarias. El subconjunto Verificado es una colección validada por humanos de 500 muestras de alta calidad desarrolladas en colaboración con OpenAI e ingenieros de software profesionales, y es la versión más comúnmente citada en las evaluaciones de modelos de frontera en la actualidad.
Por qué es importante: La trayectoria del índice de referencia lo convierte en uno de los rastreadores de progreso a largo plazo más confiables en el campo. Cuando se lanzó en 2023, Claude 2 solo podía resolver el 1,96% de los problemas. En los resultados informados por los proveedores a finales de 2025 y principios de 2026, los modelos de vanguardia cruzaron el rango del 80 % en SWE-bench Verified, aunque las puntuaciones exactas varían significativamente según el andamio, la configuración del esfuerzo, la configuración de la herramienta y el protocolo del evaluador, y no deben compararse directamente entre proveedores sin tener en cuenta esas diferencias. Ha surgido un patrón constante: los modelos de código cerrado tienden a superar a los de código abierto, y el rendimiento está determinado en gran medida tanto por el aprovechamiento del agente como por el modelo subyacente.
Una advertencia que vale la pena señalar: las altas puntuaciones del banco SWE no garantizan un agente de uso general. Indican fortaleza específicamente en las tareas de reparación de software, no autonomía universal, razón por la cual debe usarse junto con los otros puntos de referencia de esta lista.
2. GAIA
🔗 Tabla de clasificación y detalles: huggingface.co/spaces/gaia-benchmark/leaderboard
Qué prueba: capacidades de asistente de uso general que requieren razonamiento de varios pasos, navegación web, uso de herramientas y comprensión multimodal básica. Las tareas de GAIA son engañosamente simples en su redacción, pero requieren una cadena de operaciones no triviales para completarse correctamente: el tipo de tarea compuesta que enfrentaría un asistente real en la naturaleza.
Por qué es importante: GAIA tiene una amplia referencia en la investigación de evaluación de agentes y mantiene una tabla de clasificación activa de Hugging Face donde los equipos de toda la comunidad envían resultados. Su diseño resiste la toma de atajos: un agente no puede adivinar el camino. Se ha convertido en uno de los conjuntos estándar para exponer la fragilidad del uso de herramientas y las brechas de reproducibilidad en evaluaciones de agentes reales, sacando a la luz modos de falla que los puntos de referencia más estrechos pasan por alto por completo. Para los equipos que evalúan asistentes de uso general en lugar de agentes para tareas específicas, GAIA sigue siendo uno de los generadores de señales más honestos disponibles.
3. WebArena
🔗 Tabla de clasificación y detalles: webarena.dev
Qué prueba: Navegación web autónoma en entornos realistas y funcionales. WebArena crea sitios web en cuatro dominios (comercio electrónico, foros sociales, desarrollo de software colaborativo y gestión de contenido) con funcionalidades y datos reales que reflejan sus equivalentes del mundo real. Los agentes deben interpretar comandos de lenguaje natural de alto nivel y ejecutarlos completamente a través de una interfaz de navegador en vivo. El punto de referencia consta de 812 tareas de largo horizonte, y el mejor agente basado en GPT-4 del artículo original logró solo un 14,41 % de éxito en las tareas de un extremo a otro, frente a una base humana del 78,24 %.
Por qué es importante: El progreso en WebArena ha sido sustancial. A principios de 2025, los sistemas especializados informaban tasas de finalización de tareas de un solo agente superiores al 60 %: el sistema CUGA de IBM alcanzó el 61,7 % en el punto de referencia completo (febrero de 2025), y el agente que utiliza computadoras de OpenAI logró el 58,1 % en su informe técnico de enero de 2025. Estas ganancias reflejan un patrón más amplio en agentes web más fuertes: planificación explícita, ejecución de acciones especializadas, seguimiento de memoria o estado, reflexión y ciclos de evaluación o capacitación para tareas específicas. La brecha restante en el desempeño humano (78,24% según el artículo original) refleja problemas más difíciles sin resolver, como una comprensión visual profunda y un razonamiento de sentido común. WebArena es uno de los puntos de referencia más utilizados para probar la verdadera autonomía web, no la automatización basada en scripts.
4. Banco τ (banco Tau)
🔗 Tabla de clasificación y código: github.com/sierra-research/tau-bench
Qué prueba: interacción herramienta-agente-usuario bajo restricciones de políticas del mundo real. τ-bench emula conversaciones dinámicas de varios turnos entre un usuario simulado y un agente lingüístico equipado con herramientas API y directrices de políticas específicas del dominio. El punto de referencia cubre dos dominios (τ-minorista y τ-aerolínea) y evalúa simultáneamente tres cosas: si el agente puede recopilar la información requerida de un usuario a través de múltiples intercambios, si sigue correctamente las reglas de política específicas del dominio (por ejemplo, rechazar cambios de boletos no reembolsables) y si se comporta consistentemente a escala a través de la métrica de confiabilidad pass^k.
Por qué es importante: τ-bench expone una crisis de confiabilidad a la que la mayoría de los puntos de referencia únicos no ven. Incluso los agentes de llamada de funciones de última generación como GPT-4o tienen éxito en menos del 50% de las tareas, y su consistencia es mucho peor: la aprobación^8 cae por debajo del 25% en el ámbito minorista. Eso significa que un agente que puede manejar una tarea en una prueba no puede manejar de manera confiable la misma tarea ocho veces seguidas. Para cualquier implementación real que maneje millones de interacciones, esa inconsistencia es descalificante. Al combinar el razonamiento, el uso de herramientas, el cumplimiento de políticas y la repetibilidad en un único marco de evaluación, el banco τ llena un vacío que los puntos de referencia que se centran únicamente en los resultados dejan completamente abierto.
5. ARCO-AGI-2
🔗 Tabla de clasificación y competencia: arcprize.org/leaderboard
Lo que prueba: Inteligencia fluida: la capacidad de generalizar a acertijos de razonamiento visual genuinamente novedosos que resisten la memorización o la coincidencia de patrones a partir de datos de entrenamiento. Cada tarea presenta al agente una pequeña cantidad de ejemplos de cuadrículas de entrada y salida y le pide que infiera la regla abstracta subyacente y luego la aplique a una nueva entrada. Creado por François Chollet, el punto de referencia es la pieza central del concurso del Premio ARC.
Por qué es importante: el contexto es esencial aquí. ARC-AGI-1 se ha saturado efectivamente: para 2025, los modelos de frontera alcanzaron más del 90% a través de ingeniería de fuerza bruta y capacitación específica de referencia. ARC-AGI-2, lanzado en marzo de 2025, es la versión actual y sustancialmente más difícil diseñada para cerrar esas lagunas. La competencia Kaggle del Premio ARC 2025 atrajo a 1,455 equipos, y la puntuación máxima de la competencia alcanzó el 24 % utilizando el sistema NVARC de NVIDIA, un enfoque especializado de generación de datos sintéticos y entrenamiento en tiempo de prueba en un modelo de parámetros 4B. Entre los modelos de vanguardia comerciales, el panorama de puntuaciones ha evolucionado rápidamente: GPT-5.2 alcanzó el 52,9 %, Claude Opus 4.6 alcanzó el 68,8 % y Gemini 3.1 Pro logró una puntuación verificada del 77,1 % tras su lanzamiento en febrero de 2026, más del doble del rendimiento de su predecesor Gemini 3 Pro (31,1 %). Estos resultados muestran un rápido progreso en ARC-AGI-2, pero la comparación humana debe interpretarse con cuidado: el informe técnico del Premio ARC 2025 afirma que las tareas de ARC-AGI-2 fueron validadas como solucionables por evaluadores humanos independientes no expertos, en lugar de presentar un único porcentaje fijo de “línea de base humana”.
El momento más difícil del punto de referencia llegó con ARC-AGI-3, lanzado en marzo de 2026 con un formato de videojuego interactivo que requiere que los agentes exploren entornos novedosos, infieren objetivos y planifiquen secuencias de acción sin instrucciones explícitas. El informe técnico ARC-AGI-3 dice directamente: los humanos pueden resolver el 100% de los entornos, mientras que los sistemas de inteligencia artificial fronterizos en marzo de 2026 obtienen una puntuación inferior al 1%. Ese resultado no es un defecto en el punto de referencia: es el punto. Cuatro importantes laboratorios de IA (Anthropic, Google DeepMind, OpenAI y xAI) han establecido ARC-AGI como punto de referencia estándar en sus tarjetas modelo públicas, lo que la convierte en la estrella del norte más clara en el campo para rastrear el progreso genuino de la generalización.
6. Mundo OS
🔗 Tabla de clasificación y código: os-world.github.io
Qué prueba: uso de computadoras entre aplicaciones en sistemas operativos reales. OSWorld proporciona 369 tareas informáticas que abarcan aplicaciones web y de escritorio reales, E/S de archivos del sistema operativo y flujos de trabajo entre aplicaciones en Ubuntu, Windows y macOS. Los agentes deben interactuar a través de interfaces GUI reales utilizando el control sin formato del teclado y el mouse, no a través de API limpias o canales de solo texto. Cada tarea incluye un script de evaluación personalizado basado en la ejecución para una puntuación confiable y reproducible.
Por qué es importante: la mayoría de los puntos de referencia agentes operan en entornos de solo texto o solo de API. OSWorld prueba si un modelo realmente puede operar una computadora, lo que lo hace especialmente relevante para los agentes de uso de computadoras que se implementan en flujos de trabajo empresariales y de productividad. En el momento de su publicación original en NeurIPS 2024, los humanos podían realizar más del 72,36 % de las tareas, mientras que el mejor modelo lograba solo el 12,24 %, una brecha marcada y reveladora. Desde entonces, el punto de referencia se actualizó a OSWorld-Verified, que aborda más de 300 problemas reportados y mejora la confiabilidad de la evaluación a través de una infraestructura mejorada, cambios fijos en el entorno web y una mejor calidad de las tareas. Las demandas multimodales (que combinan una base visual, conocimiento operativo y planificación de múltiples pasos en sistemas operativos reales) hacen que OSWorld sea significativamente más difícil que las evaluaciones de solo código.
7. Banco de agentes
🔗 Código y detalles: github.com/THUDM/AgentBench
Lo que prueba: Amplitud. AgentBench evalúa a los LLM como agentes en ocho entornos distintos: interacción con el sistema operativo, consulta de bases de datos, navegación por gráficos de conocimiento, juegos de cartas digitales, acertijos de pensamiento lateral, planificación de tareas domésticas, compras web y navegación web. En lugar de profundizar en un dominio de tarea, evalúa qué tan bien se generaliza un modelo en entornos agentes fundamentalmente diferentes dentro de un único marco de evaluación.
Por qué es importante: un modelo que obtiene una puntuación impresionante en SWE-bench puede colapsar por completo en un entorno de consulta de base de datos o en una tarea de navegación web. AgentBench se utiliza mejor para comparar arquitecturas de agentes e identificar dónde falla la transferencia de capacidad, no para predecir directamente el rendimiento de la producción. Esa vista de diagnóstico entre dominios es una señal valiosa, especialmente al seleccionar un modelo base para un sistema de agentes multipropósito o al diagnosticar qué tipos de entorno exponen las debilidades de un modelo específico. Ningún otro punto de referencia en esta lista ofrece este tipo de vista de diagnóstico tan amplia en una sola ejecución.
Conclusión
Ningún punto de referencia por sí solo cuenta la historia completa. SWE-bench Verified mide la competencia en ingeniería de software con problemas reales de GitHub; GAIA prueba el uso de herramientas compuestas y el razonamiento de varios pasos en todos los dominios; WebArena evalúa la verdadera autonomía web con 812 tareas de largo horizonte; τ-bench saca a la luz la crisis de confiabilidad que los puntos de referencia únicos pasan por alto por completo; ARC-AGI-2 investiga la generalización genuina y la inteligencia fluida; ARC-AGI-3 muestra que la frontera no se ha acercado a resolverla; OSWorld evalúa el control informático completo en sistemas operativos reales; y AgentBench diagnostica la amplitud en ocho entornos fundamentalmente diferentes. Usados en conjunto e interpretados teniendo en cuenta las dependencias del andamiaje, estos siete proporcionan la imagen más honesta actualmente disponible de dónde se encuentra realmente un agente.
A medida que los sistemas agentes avanzan en la producción, los equipos que comprendan estas distinciones (y las evalúen en comparación con todas ellas) construirán de manera más confiable e informarán las capacidades de manera más honesta.
Conclusiones clave:
SWE-bench Verified rastrea la curva de progreso más espectacular en IA: del 1,96 % (Claude 2, 2023) a más del 80 % en los resultados informados por los proveedores a finales de 2025/principios de 2026, pero las puntuaciones no son directamente comparables entre los proveedores debido a diferencias en el andamio, las herramientas y los evaluadores. τ-bench revela una crisis de confiabilidad que la mayoría de los puntos de referencia ignoran: incluso los mejores modelos obtienen una puntuación por debajo del 50 % de éxito y caen por debajo pase^8 del 25% en las mismas tareas minoristas ARC-AGI-1 está saturado en más del 90%; ARC-AGI-2 es la prueba actual, con Gemini 3.1 Pro liderando con un 77,1 % (verificado, febrero de 2026); ARC-AGI-3 se lanzó en marzo de 2026 y todos los sistemas fronterizos obtienen una puntuación inferior al 1%. WebArena ha experimentado un progreso importante, desde un 14,41% de referencia hasta un 61,7% (IBM CUGA) a principios de 2025, impulsado por arquitecturas modulares Planificador-Ejecutor-Memoria, ni un solo avance en el modelo. OSWorld es la prueba más rigurosa del uso real de computadoras: 369 tareas entre aplicaciones con una brecha de 60 puntos entre el rendimiento humano y de la IA en lanzamiento GAIA tiene una amplia referencia en la investigación de evaluación de agentes y mantiene una tabla de clasificación comunitaria activa en Hugging Face. Las puntuaciones de referencia de los agentes dependen en gran medida del andamio: el modelo, el acceso a las herramientas, el presupuesto de reintento y la versión del evaluador afectan materialmente los números reportados.