¿Cómo cambiaría su pila de agentes si una política pudiera entrenarse exclusivamente a partir de sus propios lanzamientos basados en resultados (sin recompensas ni demostraciones) y aún así superar el aprendizaje por imitación en ocho puntos de referencia? Meta Superintelligence Labs propone ‘Early Experience’, un enfoque de capacitación sin recompensas que mejora el aprendizaje de políticas en agentes lingüísticos sin grandes conjuntos de demostración humana y sin aprendizaje reforzado (RL) en el bucle principal. La idea central es simple: dejar que el agente se derive de estados expertos, tome sus propias acciones, recopile los estados futuros resultantes y convierta esas consecuencias en supervisión. El equipo de investigación ejemplifica esto con dos estrategias concretas: modelado mundial implícito (IWM) y autorreflexión (SR), e informa ganancias consistentes en ocho entornos y múltiples modelos base.
¿Qué cambia la experiencia temprana?
Los canales tradicionales se basan en el aprendizaje por imitación (IL) sobre las trayectorias de expertos, que es barato de optimizar pero difícil de escalar y frágil fuera de la distribución; El aprendizaje por refuerzo (RL) promete aprender a partir de la experiencia, pero necesita recompensas verificables e infraestructura estable, algo que a menudo falta en entornos web y de múltiples herramientas. La Experiencia Temprana se sitúa entre ellos: no tiene recompensas como el aprendizaje por imitación (IL), pero la supervisión se basa en las consecuencias de las propias acciones del agente, no sólo en las acciones de los expertos. En resumen, el agente propone, actúa y aprende de lo que realmente sucede a continuación, sin necesidad de función de recompensa.
Modelado mundial implícito (IWM): entrene el modelo para predecir la siguiente observación dado el estado y la acción elegida, ajustando el modelo interno de la dinámica ambiental del agente y reduciendo la deriva fuera de las políticas. Autorreflexión (SR): Presentar acciones expertas y alternativas en el mismo estado; haga que el modelo explique por qué la acción de los expertos es mejor utilizando los resultados observados, luego ajuste la política a partir de esta señal contrastiva.
Ambas estrategias utilizan los mismos presupuestos y configuraciones de decodificación que IL; sólo difiere la fuente de datos (ramas generadas por agentes en lugar de trayectorias más expertas).
Comprender los puntos de referencia
El equipo de investigación evalúa ocho entornos de agentes lingüísticos que abarcan navegación web, planificación a largo plazo, tareas científicas/corporizadas y flujos de trabajo API multidominio, por ejemplo, WebShop (navegación transaccional), TravelPlanner (planificación rica en restricciones), ScienceWorld, ALFWorld, Tau-Bench y otros. La experiencia temprana produce ganancias absolutas promedio de +9,6 de éxito y +9,4 fuera de dominio (OOD) sobre IL en toda la matriz de tareas y modelos. Estas ganancias persisten cuando se utilizan los mismos puntos de control para inicializar RL (GRPO), lo que mejora los límites máximos posteriores a RL hasta +6,4 en comparación con el aprendizaje por refuerzo (RL) iniciado a partir del aprendizaje por imitación (IL).
Eficiencia: menos datos expertos, mismo presupuesto de optimización
Una victoria práctica clave es la eficiencia de la demostración. Con un presupuesto de optimización fijo, Early Experience iguala o supera a IL utilizando una fracción de datos de expertos. En WebShop, 1/8 de las demostraciones con Early Experience ya superan la IL entrenada en el conjunto de demostración completo; En ALFWorld, la paridad se alcanza en la mitad de las demostraciones. La ventaja crece con más demostraciones, lo que indica que los estados futuros generados por agentes proporcionan señales de supervisión que las demostraciones por sí solas no captan.
¿Cómo se construyen los datos?
El oleoducto se genera a partir de un conjunto limitado de implementaciones de expertos para obtener estados representativos. En estados seleccionados, el agente propone acciones alternativas, las ejecuta y registra las siguientes observaciones.
Para IWM, los datos de entrenamiento son tripletes ⟨estado, acción, siguiente estado⟩ y el objetivo es la predicción del siguiente estado. Para la RS, las indicaciones incluyen la acción de los expertos y varias alternativas más sus resultados observados; el modelo produce una justificación fundamentada que explica por qué es preferible la acción de los expertos, y esta supervisión se utiliza luego para mejorar la política.
¿Dónde encaja el aprendizaje por refuerzo (RL)?
La Experiencia Temprana no es una “RL sin recompensas”. Es una receta supervisada que utiliza resultados experimentados por agentes como etiquetas. En entornos con recompensas verificables, el equipo de investigación simplemente agrega RL después de la Experiencia Temprana. Debido a que la inicialización es mejor que IL, el mismo programa de RL sube más alto y más rápido, con hasta +6,4 de éxito final sobre el RL inicializado con IL en todos los dominios probados. Esto posiciona la Experiencia Temprana como un puente: preentrenamiento sin recompensas a partir de consecuencias, seguido (cuando sea posible) por aprendizaje por refuerzo estándar (RL).
Conclusiones clave
La capacitación sin recompensas a través de estados futuros generados por agentes (no recompensas) utilizando el modelado mundial implícito y la autorreflexión supera el aprendizaje por imitación en ocho entornos. Ganancias absolutas informadas sobre IL: +18,4 (WebShop), +15,0 (TravelPlanner), +13,3 (ScienceWorld) con presupuestos y entornos equiparables. Eficiencia de la demostración: supera a IL en WebShop con 1/8 de las demostraciones; alcanza la paridad ALFWorld con 1/2, a un costo de optimización fijo. Como inicializador, Early Experience aumenta los puntos finales de RL (GRPO) posteriores hasta +6,4 en comparación con los RL iniciados desde IL. Validado en múltiples familias troncales (3B–8B) con mejoras consistentes dentro y fuera del dominio; posicionado como un puente entre el aprendizaje por imitación (IL) y el aprendizaje por refuerzo (RL).
La experiencia temprana es una contribución pragmática: reemplaza el frágil aumento basado únicamente en la lógica con una supervisión basada en resultados que un agente puede generar a escala, sin funciones de recompensa. Las dos variantes, el modelado mundial implícito (predicción de la siguiente observación para anclar la dinámica del entorno) y la autorreflexión (justificaciones contrastantes y verificadas por resultados frente a las acciones de expertos), atacan directamente la deriva fuera de las políticas y la acumulación de errores a largo plazo, lo que explica las ganancias constantes sobre el aprendizaje por imitación en ocho entornos y los límites máximos de RL más fuertes cuando se utilizan como inicializador para GRPO. En entornos web y de uso de herramientas donde las recompensas verificables son escasas, esta supervisión sin recompensas es el punto medio que falta entre IL y RL y es inmediatamente procesable para las pilas de agentes de producción.
Consulte el DOCUMENTO aquí. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.