El sueño de la superación personal recursiva en la IA (donde un sistema no sólo mejora en una tarea, sino que mejora en el aprendizaje) ha sido durante mucho tiempo el “santo grial” del campo. Si bien modelos teóricos como la máquina de Gödel existen desde hace décadas, siguen siendo en gran medida poco prácticos en entornos del mundo real. Eso cambió con la Máquina Darwin Gödel (DGM), que demostró que se podía lograr una superación personal ilimitada en la codificación.
Sin embargo, DGM enfrentó un obstáculo importante: dependía de un mecanismo de metanivel fijo y artesanal para generar instrucciones de mejora. Esto limitó el crecimiento del sistema a los límites de su metaagente diseñado por humanos. Investigadores de la Universidad de Columbia Británica, el Vector Institute, la Universidad de Edimburgo, la Universidad de Nueva York, la Cátedra CIFAR AI de Canadá, FAIR en Meta y Meta Superintelligence Labs han introducido los hiperagentes. Este marco hace que el procedimiento de modificación de metanivel sea editable, eliminando la suposición de que el desempeño de la tarea y las habilidades de automodificación deben estar alineados con el dominio.
El problema: la regresión infinita de los metaniveles
El problema con los sistemas existentes que se mejoran a sí mismos es a menudo el “regreso infinito”. Si tienes un agente de tareas (la parte que resuelve el problema) y un metaagente (la parte que mejora al agente de tareas), ¿quién mejora al metaagente? Agregar una capa ‘meta-meta’ simplemente desplaza el problema hacia arriba.
Además, los sistemas anteriores dependían de una alineación entre la tarea y el proceso de mejora. En codificación, mejorar en la tarea a menudo se traduce en mejorar en la automodificación. Pero en dominios no relacionados con la codificación, como la poesía o la robótica, mejorar la habilidad de resolución de tareas no necesariamente mejora la capacidad de analizar y modificar el código fuente.
Hiperagentes: un programa editable
El marco DGM-Hyperagent (DGM-H) aborda esto integrando el agente de tareas y el metaagente en un programa único, autorreferencial y totalmente modificable. En esta arquitectura, un agente se define como cualquier programa computable que pueda incluir llamadas al modelo básico (FM) y herramientas externas.
Debido a que el metaagente es parte de la misma base de código editable que el agente de tareas, puede reescribir sus propios procedimientos de modificación. El equipo de investigación llama a esto automodificación metacognitiva. El hiperagente no sólo busca una mejor solución; mejora el mecanismo responsable de generar mejoras futuras.
Comparación de arquitecturas de superación personal
Resultados: Más allá del óptimo local en robótica y revisión
El equipo de investigación probó DGM-H en diversos dominios: codificación, revisión de artículos, diseño de recompensas robóticas y calificación de matemáticas a nivel de Olimpiada.
En el diseño de recompensas robóticas, al hiperagente se le asignó la tarea de diseñar funciones de recompensa de Python para entrenar a un robot cuadrúpedo en el simulador Génesis. Durante la fase de entrenamiento, los agentes debían diseñar recompensas por caminar hacia adelante. Para las pruebas prolongadas, los agentes tuvieron que generar funciones de recompensa de disparo cero para una tarea diferente: maximizar la altura del torso del robot.
El DGM-H mejoró significativamente el rendimiento, pasando de una puntuación inicial de 0,060 a 0,372 (IC: 0,355-0,436). Descubrió con éxito funciones de recompensa no miopes que inducían el comportamiento de salto: una estrategia más óptima para la altura que el óptimo local de simplemente mantenerse erguido.
En el dominio de revisión de artículos, DGM-H mejoró el rendimiento del conjunto de pruebas de 0,0 a 0,710 (CI: 0,590–0,750), superando una línea de base estática representativa. Fue más allá de las instrucciones de comportamiento superficiales para crear procesos de evaluación de varias etapas con listas de verificación explícitas y reglas de decisión.
Transferir la ‘capacidad de mejorar’
Un hallazgo fundamental para los investigadores de IA es que estas mejoras a nivel meta son generales y transferibles. Para cuantificar esto, el equipo de investigación introdujo la métrica de mejora@k (imp@k), que mide la ganancia de rendimiento lograda por un metaagente fijo en k pasos de modificación.
Los hiperagentes optimizados en tareas de robótica y revisión de trabajos se transfirieron al dominio de calificación de matemáticas a nivel de Olimpiada. Si bien los metaagentes de las ejecuciones de DGM personalizadas por humanos no lograron generar mejoras en esta nueva configuración (imp@50 = 0,0), los hiperagentes DGM-H transferidos lograron un imp@50 de 0,630. Esto demuestra que el sistema adquirió de forma autónoma estrategias transferibles de superación personal.
Infraestructura emergente: seguimiento y memoria
Sin instrucción explícita, los hiperagentes desarrollaron sofisticadas herramientas de ingeniería para respaldar su propio crecimiento:
Seguimiento del rendimiento: introdujeron clases para registrar métricas a lo largo de generaciones, identificando qué cambios condujeron a ganancias sostenidas frente a regresiones. Memoria persistente: implementaron almacenamiento con marca de tiempo para conocimientos sintetizados e hipótesis causales, lo que permitió a las generaciones posteriores aprovechar descubrimientos anteriores. Planificación consciente de la computación: desarrollaron una lógica para ajustar las estrategias de modificación en función del presupuesto restante del experimento, priorizando los cambios arquitectónicos fundamentales en las primeras etapas y los refinamientos conservadores en las últimas etapas.
Conclusiones clave
Unificación de tareas y metaagentes: los hiperagentes ponen fin a la ‘regresión infinita’ de los metaniveles fusionando el agente de tareas (que resuelve problemas) y el metaagente (que mejora el sistema) en un único programa autorreferencial. Automodificación metacognitiva: a diferencia de los sistemas anteriores con una lógica de mejora fija, DGM-H puede editar su propio “procedimiento de mejora”, esencialmente reescribiendo las reglas de cómo genera mejores versiones de sí mismo. Escalado independiente del dominio: al eliminar el requisito de alineación específica del dominio (anteriormente limitado principalmente a la codificación), los Hyperagents demuestran una superación personal efectiva en cualquier tarea computable, incluido el diseño de recompensas robóticas y la revisión de artículos académicos. Habilidades de ‘aprendizaje’ transferibles: las mejoras de metanivel son generalizables; un hiperagente que aprende a mejorar las recompensas de la robótica puede transferir esas estrategias de optimización para acelerar el rendimiento en un dominio completamente diferente, como la calificación de matemáticas a nivel de Olimpiada. Infraestructura de ingeniería emergente: en su búsqueda de un mejor rendimiento, los hiperagentes desarrollan de forma autónoma herramientas de ingeniería sofisticadas, como memoria persistente, seguimiento del rendimiento y planificación consciente de la computación, sin instrucciones humanas explícitas.
Consulte el documento y el repositorio. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.