Anthropic nunca ha publicado un artículo técnico sobre Claude Mythos. Eso no ha impedido que la comunidad investigadora teorice. Un nuevo proyecto de código abierto llamado OpenMythos, lanzado en GitHub por Kye Gomez, intenta algo ambicioso: una reconstrucción teórica de primeros principios de lo que realmente podría ser la arquitectura de Claude Mythos, construida completamente en PyTorch y basada en investigaciones revisadas por pares.
El proyecto no es un modelo filtrado, un ajuste ni una destilación. Es una hipótesis expresada en código, y la hipótesis es lo suficientemente específica como para ser falsificable, que es lo que la hace interesante.
La afirmación principal: Claude Mythos es un transformador de profundidad recurrente
OpenMythos propone que Claude Mythos pertenece a una clase de arquitecturas llamadas Transformadores de profundidad recurrente (RDT), también conocidos en la literatura como Transformadores en bucle. El concepto es significativamente diferente de las pilas de transformadores estándar.
En un transformador convencional (GPT, LLaMA, Mistral), el modelo pasa la entrada a través de una secuencia de capas únicas, una tras otra, cada una con sus propios pesos independientes. Más capacidad generalmente significa más capas y más parámetros. En un transformador de profundidad recurrente, se aplica un conjunto fijo de pesos de forma iterativa a través de pasos de bucle T dentro de un único paso hacia adelante. Los mismos pesos se ejecutan varias veces. La profundidad del razonamiento no es una función de cuántos parámetros se almacenan, sino de cuántas iteraciones se ejecutan en el momento de la inferencia.
Piense en ello menos como leer un libro y más como refinar un borrador: el modelo regresa al mismo bloque computacional una y otra vez, mejorando su representación interna con cada pasada.
Cómo se estructura la arquitectura
OpenMythos instancia esto como una estructura de tres partes: Preludio → Bloque recurrente → Coda. Prelude y Coda son capas de transformadores estándar que se ejecutan exactamente una vez. El bloque recurrente es el núcleo computacional, con bucles hasta T=16 veces.
En cada paso t del bucle, el estado oculto se actualiza utilizando la siguiente regla:
ht+1 = A·ht + B·e + Transformador(ht, e)
Aquí, ht es el estado oculto después de la iteración del bucle t, y e es la entrada codificada del Preludio, reinyectada en cada paso. La reinyección es deliberada: sin ella, el estado oculto se alejaría de la señal de entrada original a través de bucles profundos. Las matrices aprendidas A y B gobiernan qué parte del estado oculto anterior y de la entrada codificada se transfieren en cada paso.
El FFN dentro del bloque recurrente no es una capa de avance estándar. OpenMythos lo reemplaza con una capa de Mezcla de Expertos (MoE) siguiendo el diseño introducido en DeepSeekMoE: un gran grupo de expertos enrutados detallados, con solo un escaso subconjunto top-K activado por token, junto con un pequeño conjunto de expertos compartidos siempre activos que absorben patrones comunes entre dominios. Fundamentalmente, el enrutador selecciona distintos subconjuntos expertos en cada profundidad de bucle, lo que significa que cada iteración es computacionalmente distinta a pesar de compartir los mismos pesos base. MoE proporciona amplitud de dominio; el bucle proporciona profundidad de razonamiento.
La atención predeterminada es Atención multilatente de DeepSeek-V2, que almacena en caché un KV latente comprimido de bajo rango en lugar de tensores clave/valor completos, lo que produce una reducción de 10 a 20 veces en la memoria KV a escala de producción.
Razonamiento en espacio latente continuo
Una de las propiedades más importantes de esta arquitectura es que el razonamiento ocurre enteramente en un espacio latente continuo. No hay emisión de tokens intermedios entre los pasos del bucle: el modelo no produce texto a mitad del pensamiento y luego lo vuelve a leer. Esto es estructuralmente distinto de la cadena de pensamiento, donde el razonamiento se externaliza como secuencias simbólicas, y ha sido analizado formalmente tanto en Saunshi et al. (2025) y COCO (2024).
Saunshi et al. (2025) muestran formalmente que cada iteración de bucle en una RDT es funcionalmente equivalente a un paso de una cadena de pensamiento, pero opera sobre vectores de valor real en lugar de tokens discretos. Los pensamientos latentes continuos también pueden codificar múltiples pasos siguientes alternativos simultáneamente, permitiendo algo más cercano a la búsqueda en amplitud en el espacio de razonamiento dentro de un solo paso hacia adelante.
Esto también explica una ventaja de capacidad concreta. Un transformador estándar entrenado en cadenas de razonamiento de 5 saltos falla cuando se prueba en cadenas de 10 saltos en el momento de la inferencia: no tiene ningún mecanismo para extender su profundidad más allá de lo que vio durante el entrenamiento. Un transformador de profundidad recurrente maneja esto de forma natural: ejecutar más bucles de tiempo de inferencia extiende la cadena de razonamiento sin ningún reentrenamiento. Los problemas más difíciles reciben más cálculo; los más simples salen temprano.
Resolviendo el problema de estabilidad
Históricamente, el entrenamiento de modelos en bucle ha sido frágil. El estado oculto ht puede crecer ilimitadamente a través de iteraciones, un modo de falla llamado explosión residual. OpenMythos aborda esto utilizando una restricción de inyección lineal invariante en el tiempo (LTI) tomada de la arquitectura Parcae (Prairie et al., 2026): el radio espectral de A, denotado ρ(A), se fuerza a ser menor que 1 por construcción, lo que garantiza la estabilidad independientemente de la tasa de aprendizaje o el ruido del gradiente.
También existe un segundo modo de falla en el otro extremo: más allá de una cierta profundidad del bucle, la recurrencia excesiva degrada las predicciones: el estado oculto pasa más allá de la solución y se convierte en ruido. Éste es el problema del “pensamiento excesivo”. La detención del tiempo de computación adaptativa (ACT) lo aborda con un escalar aprendido por posición que decide dinámicamente cuándo detener el bucle. Los puestos que son más difíciles de procesar reciben más cálculos; los tokens que ya han convergido se detienen temprano.
Finalmente, los adaptadores LoRA en profundidad introducen una pequeña matriz de adaptación de rango r en cada profundidad de iteración, dando a cada paso de bucle un comportamiento ligeramente distinto sin agregar parámetros sustanciales, cerrando la brecha entre la vinculación de peso pura y las capas completamente distintas.
Por qué es importante la eficiencia de los parámetros
El artículo de Parcae (Prairie et al., 2026) proporciona una base empírica para la afirmación de eficiencia. Con parámetros de 770M, un RDT coincide con un transformador estándar de 1.3B entrenado con datos idénticos: aproximadamente la mitad de los parámetros para una calidad aguas abajo equivalente. La recurrencia óptima y el recuento óptimo de tokens siguen leyes de potencia con exponentes consistentes en todas las escalas, estableciendo las primeras leyes de escala predecibles para el entrenamiento en bucle.
La implicación es significativa: la profundidad del razonamiento se escala con cálculo de tiempo de inferencia, no con recuento de parámetros almacenados. Esto reformula uno de los supuestos dominantes en el debate sobre la escala. Es posible que el eje relevante no sea el recuento de parámetros en el entrenamiento, sino la profundidad del bucle en la inferencia.
Qué aporta OpenMythos
OpenMythos proporciona cuatro artefactos de investigación concretos: una implementación PyTorch totalmente configurable de la hipótesis RDT con MoE FFN y atención multilatente; Inyección recurrente estable LTI integrada como una primitiva de entrenamiento de primera clase; adaptadores LoRA en profundidad que permiten la diferenciación de comportamiento por iteración; y una base de investigación reproducible para estudiar la dinámica de transformadores en bucle y la profundidad del razonamiento en tiempo de inferencia.
Independientemente de si Mythos es en realidad un RDT o no, OpenMythos ofrece a la comunidad de investigación algo concreto y ejecutable: una implementación de una clase de arquitectura que la literatura sugiere cada vez más que está poco explorada y que puede representar un camino fundamentalmente diferente hacia una IA capaz que simplemente entrenar modelos más grandes.
Consulte los códigos completos con Notebook aquí. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 130.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros