Hay un tipo particular de tedio que todo ingeniero de IA conoce íntimamente: el bucle de ajuste rápido. Usted escribe un mensaje del sistema, ejecuta su agente en comparación con un punto de referencia, lee los seguimientos de fallas, modifica el mensaje, agrega una herramienta y vuelve a ejecutar. Repita esto unas cuantas docenas de veces y es posible que mueva la aguja. Es un trabajo pesado disfrazado de archivos Python. Ahora, una nueva biblioteca de código abierto llamada AutoAgent, creada por Kevin Gu en Thirdlayer.inc, propone una alternativa inquietante: no haga ese trabajo usted mismo. Deja que una IA lo haga.
AutoAgent es una biblioteca de código abierto para mejorar de forma autónoma un agente en cualquier dominio. En una ejecución de 24 horas, alcanzó el puesto número 1 en SpreadsheetBench con una puntuación del 96,5 % y logró la puntuación GPT-5 n.º 1 en TerminalBench con un 55,1 %.
¿Qué es realmente AutoAgent?
AutoAgent se describe como “como la investigación automática pero para la ingeniería de agentes”. La idea: asignarle una tarea a un agente de IA, dejar que construya y repita un arnés de agente de forma autónoma durante la noche. Modifica el indicador del sistema, las herramientas, la configuración del agente y la orquestación, ejecuta el punto de referencia, verifica la puntuación, mantiene o descarta el cambio y repite.
Para entender la analogía: la investigación automática de Andrej Karpathy hace lo mismo para el entrenamiento de ML: recorre ciclos de proponer-entrenar-evaluar, manteniendo solo los cambios que mejoran la pérdida de validación. AutoAgent traslada el mismo bucle de trinquete de la capacitación en aprendizaje automático a la ingeniería de agentes. En lugar de optimizar los pesos de un modelo o entrenar hiperparámetros, optimiza el aprovechamiento: el indicador del sistema, las definiciones de herramientas, la lógica de enrutamiento y la estrategia de orquestación que determinan cómo se comporta un agente en una tarea.
Un arnés, en este contexto, es el andamiaje alrededor de un LLM: qué aviso del sistema recibe, qué herramientas puede llamar, cómo se enruta entre subagentes y cómo se formatean las tareas como entradas. La mayoría de los ingenieros agentes fabrican este andamio a mano. AutoAgent automatiza la iteración en ese andamio.
La arquitectura: dos agentes, un archivo, una directiva
El repositorio de GitHub tiene una estructura deliberadamente simple. agent.py es todo el arnés bajo prueba en un solo archivo: contiene configuración, definiciones de herramientas, registro de agentes, enrutamiento/orquestación y el límite del adaptador Harbor. La sección del adaptador está marcada explícitamente como fija; el resto es la superficie de edición principal del metaagente. program.md contiene instrucciones para el metaagente más la directiva (qué tipo de agente construir), y este es el único archivo que edita el ser humano.
Piense en ello como una separación de preocupaciones entre humanos y máquinas. El humano establece la dirección dentro de program.md. Luego, el metaagente (una IA separada de nivel superior) lee esa directiva, inspecciona agent.py, ejecuta el punto de referencia, diagnostica qué falló, reescribe las partes relevantes de agent.py y repite. El humano nunca toca agent.py directamente.
Una pieza fundamental de la infraestructura que mantiene el bucle coherente en todas las iteraciones es results.tsv, un registro de experimentos creado y mantenido automáticamente por el metaagente. Realiza un seguimiento de cada ejecución de experimento, brindando al metaagente un historial del cual aprender y calibrar qué probar a continuación. La estructura completa del proyecto también incluye Dockerfile.base, un directorio .agent/ opcional para artefactos reutilizables del espacio de trabajo del agente, como indicaciones y habilidades, una carpeta task/ para cargas útiles de referencia (agregada por rama de referencia) y un directorio jobs/ para los resultados de los trabajos de Harbor.
La métrica es la puntuación total producida por los conjuntos de pruebas de tareas del punto de referencia. El metaagente sube colinas en este aspecto. Cada experimento produce una puntuación numérica: conservar si es mejor, descartar si no: el mismo ciclo que la investigación automática.
El formato de tarea y la integración portuaria
Los puntos de referencia se expresan como tareas en formato Harbour. Cada tarea se encuentra en tareas/mi-tarea/ e incluye un task.toml para configuraciones como tiempos de espera y metadatos, un instrucción.md que es el mensaje enviado al agente, un directorio tests/ con un punto de entrada test.sh que escribe una puntuación en /logs/reward.txt y un test.py para verificación mediante comprobaciones deterministas o LLM-as-juez. Un entorno/Dockerfile define el contenedor de tareas y un directorio files/ contiene archivos de referencia montados en el contenedor. Las pruebas escriben una puntuación entre 0,0 y 1,0 en los registros del verificador. El metaagente sube la colina en esto.
Vale la pena señalar aquí el patrón LLM como juez: en lugar de solo verificar las respuestas de manera determinista (como las pruebas unitarias), el conjunto de pruebas puede usar otro LLM para evaluar si la salida del agente es “suficientemente correcta”. Esto es común en evaluaciones comparativas de agentes donde las respuestas correctas no se pueden reducir a la coincidencia de cadenas.
Conclusiones clave
La ingeniería de arnés autónoma funciona: AutoAgent demuestra que un metaagente puede reemplazar por completo el bucle de ajuste de aviso humano, iterando en agent.py durante la noche sin que ningún ser humano toque los archivos del arnés directamente. Los resultados de las pruebas comparativas validan el enfoque: en una ejecución de 24 horas, AutoAgent alcanzó el puesto número 1 en SpreadsheetBench (96,5 %) y la puntuación más alta de GPT-5 en TerminalBench (55,1 %), superando a todas las demás entradas diseñadas manualmente por humanos. La ’empatía del modelo’ puede ser un fenómeno real: un metaagente de Claude que optimizaba un agente de tareas de Claude pareció diagnosticar fallas con mayor precisión que cuando optimizaba un agente basado en GPT, lo que sugiere que el emparejamiento de modelos de la misma familia podría ser importante al diseñar su bucle AutoAgent. El trabajo del ser humano pasa de ingeniero a director: no se escribe ni se edita agent.py. Escribe program.md, una directiva Markdown simple que dirige el metaagente. La distinción refleja el cambio más amplio en la ingeniería de agentes desde escribir código hasta establecer objetivos. Es plug-and-play con cualquier punto de referencia: debido a que las tareas siguen el formato abierto de Harbor y los agentes se ejecutan en contenedores Docker, AutoAgent es independiente del dominio. Cualquier tarea puntuable (hojas de cálculo, comandos de terminal o su propio dominio personalizado) puede convertirse en un objetivo para la autooptimización autónoma.
Consulte el repositorio y twittee. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros