Un arnés de agente es el código alrededor de un modelo: bucle de ejecución, herramientas, contexto, estado, recuperación y verificación. Según la tabla de clasificación de Terminal-Bench 2.1, GPT-5 resuelve el 35,2 % de las tareas dentro de Terminus 2 pero el 49,6 % dentro de Codex CLI con pesos idénticos. La mayoría de los puntos de referencia mantienen ese arnés fijo. HarnessDev, propuesto por un equipo de investigadores de ByteDance Seed, la Universidad de Tecnología y Diseño de Singapur, el Instituto de Tecnología de Georgia, MAP y TokenWave.AI, invierte el objetivo: el artefacto bajo evaluación es el arnés ejecutable que escribe el modelo, no la respuesta que produce.
2 etapas: Creación y Evolución
En Creación, cada creador recibe la misma semilla débil: archivos pasivos, búsqueda y proceso primitivos más escritores de resultados y trayectorias, sin bucle, planificador, verificador, reintento o regla de detención. Sin modificar, obtiene una puntuación de 0 en todas partes. El creador obtiene una especificación de familia de tareas, un breve tutorial de diseño y de 1 a 3 casos de desarrollo, crea un arnés completo y el arnés se congela antes de las tareas ocultas.
En Evolution, el creador comienza desde su propio código de creación congelado y lo revisa utilizando comentarios de ejecución de un conjunto fijo de 100 tareas de SWE-bench Pro y las 89 tareas de Terminal-Bench 2.1. Cada candidato oficial deberá realizar ambas evaluaciones en pareja, con un presupuesto de 10 parejas y como máximo 2 sondas de cinco tareas entre parejas. Cada versión oficial se califica posteriormente en 630 instancias SWE-Pro retenidas que el creador nunca ve.
Los arneses se clasifican según su capacidad (éxito de la tarea) y eficiencia (tokens de ejecutor, con tokens de creador excluidos).
Configuración
Se probaron 6 LLM de creadores: Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Pro, Qwen 3.7 Max y Seed 2.0 Pro, trabajando dentro de Claude Code 2.1.177 (GPT-5.5 usó Codex 0.144.3). La creación abarca 4 dominios y 5 puntos de referencia con un total de 2207 instancias: SWE-bench Pro public split (731), Terminal-Bench 2.1 (89), MLE-bench (75), EQ-Bench3 (46) y BrowseComp (1266). Cada creador crea 3 arneses por punto de referencia, lo que se informa como promedio@3. Self-Eval ejecuta cada arnés con su creador; Unified-Eval se ejecuta todo con Gemini 3.1 Pro.
Resultados de la creación
En Autoevaluación, Opus 4.8 registra la puntuación promedio más alta con 67,8 frente a una referencia diseñada por humanos de 86,2. La brecha depende del dominio:
Código: Opus 4.8 alcanza 69,3 en SWE-Pro frente a la referencia 80,0. Gemini 3.1 Pro lidera Terminal-Bench con 68,8 frente a 88,8. Búsqueda: la brecha más amplia. La mejor puntuación de BrowseComp es 52,6 (GPT-5,5) frente a una referencia de 92,2. Escritura: Opus 4.8 obtiene una puntuación de 84,6 en EQ-Bench3, por encima de la referencia de 83,7. Experimentación de ML: Opus 4.8 (32.9) y Gemini (32.4) superaron la referencia del banco 24.0 MLE.
Las referencias de SWE-Pro, Terminal-Bench y BrowseComp son resultados externos del informe GPT-5.6 de OpenAI, no repeticiones.
El volumen de código no predijo la calidad: los 18 arneses de código agregaron 17,111 líneas netas, sin embargo, Gemini agregó la menor cantidad (1,006) y lideró Terminal-Bench. El recuento de las autoevaluaciones apenas se correlacionó con la puntuación (Spearman 0,13 a 0,26); las llamadas de revisión alcanzaron 0,57.
Gran parte de la maquinaria generada es inerte. De 108 instancias de componentes de código, 72 se activan en ejecuciones reales y 18 nunca se activan, todas ellas de estado y memoria. 11 de 18 arneses definen una clase estatal, pero no aparece ningún evento de punto de control en 26,679 trayectorias. 124 de 587 funciones de escritura son código inactivo.
Transferencia de costos y ejecutores.
El uso de tokens del banco MLE varió aproximadamente 19 veces. GPT-5.5 alcanzó una tasa de medallas de 19,1 con 29,3 millones de tokens, mientras que DeepSeek V4 alcanzó 19,6 con 208,4 millones. Cambiar el ejecutor a Gemini reorganizó las clasificaciones: Qwen ganó 17,6 puntos en BrowseComp y 12,9 en MLE-bench, mientras que la puntuación SWE-Pro de Opus 4.8 cayó de 69,3 a 33,0, en parte porque un arnés codificó un límite de 120 pasos alrededor de su ejecutor original. La tasa de consultas duplicadas del sistema de búsqueda Opus saltó del 10,1% al 88,2% después del cambio.
Resultados de la evolución
9 linajes (5 de ejecución automática, 4 de Géminis fijos) produjeron 73 versiones oficiales y 64 cambios adyacentes. Los cinco creadores de ejecución automática mejoraron en las tareas pendientes, de +1,43 a +4,44 puntos (media +3,11). Bajo Géminis fijo, sólo Opus mejoró; GPT-5.5 retrocedió 10,32 puntos.
El progreso no fue monótono. De 64 interruptores, 8 retrocedieron en ambos puntos de referencia, 16 en uno, 27 ganaron sólo dentro de la banda de ruido y 2 mostraron una clara evidencia positiva. Un solo compromiso puede variar en aproximadamente ±4,75 puntos de puntuación de pares. Los comentarios y las puntuaciones retenidas avanzaron en la misma dirección sólo 34 de 64 veces (53,1%), y sólo 2 de 9 versiones finales declaradas fueron consideradas óptimas. De 169 nuevas funciones o clases, 25 no tienen ningún llamador.
La victoria más clara: Opus 4.8 notó que 99 de 100 ejecuciones reportaron éxito mientras que solo 48 pasaron, rastreó el proceso hasta su finalización prematura y agregó una puerta de finalización. Por lo demás, el diagnóstico de fallas fue el paso más débil: la interfaz de trayectoria dedicada solo se llamó dos veces.