La mayoría de los puntos de referencia del aprendizaje por refuerzo reinician el mundo después de cada episodio. Las operaciones reales nunca se reinician. MORPHEUS de Skyfall AI apunta a esa brecha. Es una plataforma de simulación empresarial persistente para el aprendizaje por refuerzo continuo (CRL).
¿Qué es MORFEO?
MORPHEUS se basa en la hipótesis del gran mundo (Javed & Sutton, 2024). Dice que la complejidad del mundo excede la capacidad de representación de cualquier agente. Como resultado, el entorno parece no estacionario incluso bajo una dinámica fija.
Para forzar el aprendizaje continuo, MORPHEUS requiere tres propiedades: persistencia, no estacionariedad y complejidad operativa. La persistencia significa que las decisiones pasadas se combinan con dinámicas futuras. La no estacionariedad significa que cualquier política fija eventualmente se vuelve subóptima. La complejidad operativa significa que no existe una política óptima fija.
Cada entorno es un complemento mundial de TypeScript autónomo. Exporta descriptores operativos (OD), un programador de simulación, datos iniciales y documentación. Un OD define el plan de ejecución paso a paso para una capacidad. Los agentes actúan a través de una API de capacidad y cada llamada desencadena una ejecución de OD.
¿Cómo funciona la plataforma?
Sobre la base de esa arquitectura, la no estacionariedad proviene de dos motores. En primer lugar, un motor de inyección defectuoso inserta interrupciones tipográficas entre los pasos OD. Se basa en once tipos de fallas, incluidos datos_faltantes, falla_dependencia y límite_tasa. Se ejecuta a cuatro ritmos preestablecidos: ligero (5%), realista (8%), moderado (15%) y agresivo (30%).
En segundo lugar, un controlador de cambio de configuración asíncrono cambia los ajustes preestablecidos de fallas y la demanda en marcas de tiempo fijas. Se ejecuta independientemente del ciclo de entrenamiento, por lo que los cambios nunca se alinean con las actualizaciones de gradiente. Esto evita que el agente utilice la periodicidad de actualización como reloj proxy.
Además de estos motores, la recompensa proviene de tres verificadores operativos registrados de forma nativa en la plataforma. Estas son señales de eventos de falla, estado del libro mayor financiero y rendimiento de recursos. La recompensa compuesta los combina. Los pesos predeterminados son w_f = 0,5 y w_l = w_p = 0,25.
Según los supuestos del límite superior (cero fallas, costo mínimo, rendimiento total), el límite por configuración es igual a 0,50.
Inicialización de políticas
Debido a que el espacio de acción es grande, la RL pura desde cero no es práctica. Por lo tanto, MORPHEUS utiliza una tubería de dos etapas. Un modelo de frontera (Gemini 3.1 pro) recopila trayectorias utilizando el marco ReAct. Estos rastros luego ajustan Qwen3-14B mediante un ajuste fino supervisado (SFT).
En consecuencia, cada ejecución de RL comienza desde este punto de control SFT compartido. Esto aísla el comportamiento de aprendizaje continuo de la competencia operativa básica. Luego, todas las líneas de base utilizan PPO como optimizador básico para la capacitación posterior en línea.
El protocolo de evaluación de seis métricas
Una vez definido el entrenamiento, la recompensa acumulativa por sí sola no es suficiente. Una suma escalar oculta el desempeño en un horizonte no estacionario. Por eso, el equipo de investigación propone seis métricas. Estos son recompensa por configuración, velocidad de adaptación, olvido, tiempo de recuperación, estabilidad y brecha de rendimiento.
Entre ellas, la velocidad de adaptación es la métrica principal. Cuenta los pasos hasta que la recompensa promedio alcanza la mitad del límite superior. Dos diagnósticos complementarios también rastrean la ventaja relativa de adaptación (RAA) y la plasticidad a través del rango efectivo.
Resultados de referencia
Utilizando este protocolo, el equipo de investigación prueba cuatro familias de algoritmos desde el punto de control SFT compartido. Se definen dos tareas. La tarea 1 es la asignación dinámica de recursos bajo una deriva estructurada. La tarea 2 es la programación a la deriva con efectos retardados.
En todos estos resultados, no predomina ninguna familia. En la Tarea 1 de salida del proceso, el EWC lidera la recompensa y el LCM se adapta más rápido. En la Tarea 2, ELLA lidera la recompensa mientras que LCM pierde su ventaja ante la recompensa retrasada. Mientras tanto, las brechas medias de rendimiento se sitúan cerca de 1,0 para cada método. Eso indica un gran déficit del Estado asentado, no una brecha menor en la sintonización.
En particular, PPO y HER generalmente se adaptan sólo en la primera configuración. Luego no logran adaptarse a regímenes posteriores, incluso sin señales de etiqueta.
Casos de uso con ejemplos
En la práctica, MORPHEUS se adapta a varios roles de lector. Para los ingenieros de IA, prueba si un agente detecta cambios de régimen sin etiquetas. Por ejemplo, la demanda pasa de baja a alta y la política debe adaptarse sin señal.
Para los científicos de datos, esto enfatiza el retraso en la asignación de créditos. Por ejemplo, la entrega completa a tiempo (OTIF) se observa solo días después de la decisión de envío. Para los ingenieros de software, el formato del complemento TypeScript permite intercambiar recompensas o alternar la observabilidad sin cambiar la dinámica.
Fortalezas y debilidades
Fortalezas:
Mundos persistentes sin reinicios, que coinciden con los sistemas empresariales implementados. Cambios de régimen parametrizables y reproducibles para una comparación justa de algoritmos cruzados. Recompensas de verificadores operativos nativos, que no necesitan anotaciones externas. Código de evaluación de código abierto (Skyfall-Research/morpheus-evals).
Debilidades:
Hasta ahora sólo se han evaluado dos de cinco entornos. El límite superior supone cero fracasos, por lo que sigue siendo optimista. Los cambios se desencadenan externamente, no son impulsados por decisiones complejas. Las ponderaciones de las recompensas son variables de investigación, no objetivos validados de la industria.
Conclusiones clave
MORPHEUS ejecuta mundos empresariales persistentes que nunca se reinician, a diferencia de los puntos de referencia episódicos de RL. Incluye cinco entornos; Aquí se evalúan dos: proceso saliente y proceso entrante. Un protocolo de seis métricas puntúa recompensa, adaptación, olvido, recuperación, estabilidad y brecha hasta el límite superior por configuración. Cuatro líneas de base (PPO, HER, EWC, LCM) se encuentran muy por debajo del límite superior teórico. Ningún algoritmo gana por sí solo; La recompensa y la velocidad de adaptación eligen diferentes ganadores.
Consulte la página del artículo y del proyecto. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ml y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.