Agent0: un marco de IA totalmente autónomo que desarrolla agentes de alto rendimiento sin datos externos a través de una coevolución de varios pasos

Los grandes modelos de lenguaje necesitan enormes conjuntos de datos humanos, entonces, ¿qué sucede si el modelo debe crear todo su propio plan de estudios y aprender a utilizar herramientas? Un equipo de investigadores de UNC-Chapel Hill, Salesforce Research y la Universidad de Stanford presentan ‘Agent0’, un marco totalmente autónomo que desarrolla agentes de alto rendimiento sin datos externos a través de una coevolución de varios pasos y una perfecta integración de herramientas.

Agent0 se centra en el razonamiento matemático y general. Muestra que la generación cuidadosa de tareas y la implementación integrada de herramientas pueden llevar un modelo base más allá de sus capacidades originales, en diez puntos de referencia.

Dos agentes de un modelo base

Agent0 comienza desde una política base π_base, por ejemplo Qwen3 4B Base o Qwen3 8B Base. Clona esta política en:

un Agente Curricular πθ que genera tareas, un Agente Ejecutor πϕ que resuelve esas tareas con una herramienta Python.

El entrenamiento se desarrolla en iteraciones con dos etapas por iteración:

Evolución del currículo: el agente curricular genera un lote de tareas. Para cada tarea, el ejecutor toma muestras de múltiples respuestas. Una recompensa compuesta mide qué tan inseguro está el ejecutor, con qué frecuencia usa la herramienta y qué tan diverso es el lote. πθ se actualiza con Optimización de políticas relativas al grupo (GRPO) utilizando esta recompensa. Evolución del ejecutor: el agente curricular capacitado está congelado. Genera un gran conjunto de tareas. Agent0 filtra este grupo para mantener solo las tareas cercanas a la frontera de capacidad del ejecutor, luego entrena al ejecutor en estas tareas utilizando un objetivo de RL consciente de la ambigüedad llamado Optimización de políticas dinámicas de ambigüedad (ADPO).

Este bucle crea un ciclo de retroalimentación. A medida que el ejecutor se fortalece al utilizar el intérprete de código, el plan de estudios debe generar problemas más complejos y dependientes de herramientas para mantener alta su recompensa.

¿Cómo califica las tareas el agente curricular?

La recompensa curricular combina tres señales:

Recompensa de incertidumbre: para cada tarea x generada, el ejecutor muestra k respuestas y la mayoría vota una pseudorespuesta. La autoconsistencia p̂(x) es la fracción de respuestas que coinciden con esta mayoría. La recompensa es máxima cuando p̂ está cerca de 0,5 y baja cuando las tareas son demasiado fáciles o demasiado difíciles. Esto fomenta tareas que son desafiantes pero aún solucionables para el ejecutor actual.

Recompensa por el uso de la herramienta: el ejecutor puede activar un intérprete de código de espacio aislado utilizando etiquetas de Python y recibe resultados etiquetados como salida. Agent0 cuenta la cantidad de llamadas a herramientas en una trayectoria y otorga una recompensa escalada y limitada, con un límite C establecido en 4 en los experimentos. Esto favorece las tareas que realmente requieren llamadas a herramientas en lugar de pura aritmética mental.

Penalización por repetición: dentro de cada lote del plan de estudios, Agent0 mide la similitud por pares entre tareas utilizando una distancia basada en BLEU. Las tareas están agrupadas y el término de penalización aumenta con el tamaño del grupo. Esto disuade al currículo de generar casi duplicados.

Una recompensa compuesta multiplica una verificación de formato con una suma ponderada de incertidumbre y recompensas de herramienta menos la penalización por repetición. Este valor compuesto ingresa a GRPO para actualizar πθ.

¿Cómo aprende el ejecutor de las ruidosas autoetiquetas?

El ejecutor también está capacitado con GRPO, pero en múltiples turnos, trayectorias integradas de herramientas y pseudoetiquetas en lugar de respuestas reales.

Construcción de conjuntos de datos de frontera: después de la capacitación del plan de estudios en una iteración, el plan de estudios congelado genera un gran grupo de candidatos. Para cada tarea, el Agente0 calcula la autoconsistencia p̂(x) con el ejecutor actual y mantiene solo las tareas donde p̂ se encuentra en una banda informativa, por ejemplo entre 0,3 y 0,8. Esto define un conjunto de datos de frontera desafiante que evita problemas triviales o imposibles.

Implementaciones integradas de herramientas de múltiples turnos: para cada tarea de frontera, el ejecutor genera una trayectoria que puede intercalar:

tokens de razonamiento en lenguaje natural, segmentos de código Python, comentarios de herramientas de salida.

La generación se detiene cuando aparece una llamada a la herramienta, ejecuta el código en un intérprete de espacio aislado creado en la herramienta VeRL y luego se reanuda condicionado al resultado. La trayectoria termina cuando el modelo produce una respuesta final dentro de las etiquetas {boxed…}.

Un voto mayoritario en las trayectorias muestreadas define una pseudoetiqueta y una recompensa terminal para cada trayectoria.

ADPO, RL consciente de la ambigüedad: el GRPO estándar trata todas las muestras por igual, lo cual es inestable cuando las etiquetas provienen de una votación mayoritaria sobre tareas ambiguas. ADPO modifica GRPO de dos maneras usando p̂ como señal de ambigüedad.

Escala la ventaja normalizada con un factor que aumenta con la autoconsistencia, por lo que las trayectorias de tareas de baja confianza contribuyen menos. Establece un límite de recorte superior dinámico para la relación de importancia, que depende de la coherencia propia. El análisis empírico muestra que el recorte superior fijo afecta principalmente a los tokens de baja probabilidad. ADPO relaja este límite de forma adaptativa, lo que mejora la exploración en tareas inciertas, como lo visualizan las estadísticas de probabilidad de token recortadas.

Resultados sobre razonamiento matemático y general.

Agent0 se implementa sobre VeRL y se evalúa en Qwen3 4B Base y Qwen3 8B Base. Utiliza un intérprete de Python en un espacio aislado como única herramienta externa.

El equipo de investigación evalúa según diez puntos de referencia:

Razonamiento matemático: AMC, Minerva, MATH, GSM8K, Olympiad Bench, AIME24, AIME25. Razonamiento general: SuperGPQA, MMLU Pro, BBEH.

Informan paso @ 1 para la mayoría de los conjuntos de datos y media @ 32 para tareas AMC y AIME.

Para Qwen3 8B Base, el Agente0 alcanza:

el promedio matemático es 58,2 versus 49,2 para el modelo base, el promedio general general es 42,1 versus 34,5 para el modelo base.

Agent0 también mejora con respecto a líneas de base sólidas sin datos como R Zero, Absolute Zero, SPIRAL y Socratic Zero, tanto con como sin herramientas. En Qwen3 8B, supera a R Zero en 6,4 puntos porcentuales y a Absolute Zero en 10,6 puntos en el promedio general. También supera a Socratic Zero, que se basa en API externas de OpenAI.

En tres iteraciones de coevolución, el rendimiento matemático promedio en Qwen3 8B aumenta de 55,1 a 58,2 y el razonamiento general también mejora por iteración. Esto confirma una superación personal estable en lugar de un colapso.

Los ejemplos cualitativos muestran que las tareas curriculares evolucionan desde preguntas de geometría básica hasta problemas complejos de satisfacción de restricciones, mientras que las trayectorias del ejecutor mezclan texto de razonamiento con llamadas de Python para alcanzar respuestas correctas.

Conclusiones clave

Coevolución totalmente libre de datos: Agent0 elimina conjuntos de datos externos y anotaciones humanas. Dos agentes, un agente curricular y un agente ejecutor, se inicializan desde el mismo LLM base y evolucionan conjuntamente solo a través del aprendizaje por refuerzo y una herramienta Python. Currículum fronterizo a partir de la autoincertidumbre: el agente curricular utiliza la autoconsistencia del ejecutor y el uso de herramientas para calificar las tareas. Aprende a generar tareas fronterizas que no son triviales ni imposibles y que requieren explícitamente un razonamiento integrado con herramientas. ADPO estabiliza RL con pseudoetiquetas: el ejecutor está entrenado con optimización de políticas dinámicas de ambigüedad. ADPO reduce el peso de las tareas altamente ambiguas y adapta el rango de recorte en función de la coherencia propia, lo que hace que las actualizaciones de estilo GRPO sean estables cuando las recompensas provienen de pseudoetiquetas de voto mayoritario. Mejoras consistentes en matemáticas y razonamiento general: en Qwen3 8B Base, Agent0 mejora los puntos de referencia de matemáticas de 49,2 a 58,2 en promedio y el razonamiento general de 34,5 a 42,1, lo que corresponde a ganancias relativas de aproximadamente 18 por ciento y 24 por ciento. Supera los marcos de datos cero anteriores: en diez puntos de referencia, Agent0 supera los métodos de evolución automática anteriores, como R Zero, Absolute Zero, SPIRAL y Socratic Zero, incluidos aquellos que ya utilizan herramientas o API externas. Esto muestra que el diseño de integración de herramientas de coevolución más es un paso significativo más allá de los enfoques anteriores de juego automático de ronda única.

Notas editoriales

Agent0 es un paso importante hacia el aprendizaje por refuerzo práctico y sin datos para el razonamiento integrado de herramientas. Muestra que un LLM básico puede actuar como agente curricular y agente ejecutor, y que GRPO con ADPO y la herramienta VeRL pueden impulsar una mejora estable a partir de pseudoetiquetas de voto mayoritario. El método también demuestra que la coevolución integrada de herramientas puede superar a los marcos de datos cero anteriores, como R Zero y Absolute Zero, en líneas de base sólidas de Qwen3. Agent0 defiende con firmeza que los agentes LLM integrados en herramientas y en evolución propia se están convirtiendo en un paradigma de formación realista.

Consulte el PAPEL y el repositorio. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.

Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.