1. Introducción
Durante la última década, toda la industria de la IA siempre ha creído en una convención no dicha: que la inteligencia sólo puede surgir a escala. Nos convencimos de que para que los modelos imitaran verdaderamente el razonamiento humano, necesitábamos redes más grandes y profundas. Como era de esperar, esto llevó a apilar más bloques de transformadores uno encima de otro (Vaswani et al., 2017)5, agregar miles de millones de parámetros y entrenarlos en centros de datos, lo que requiere megavatios de energía.
Pero, ¿esta carrera por fabricar modelos cada vez más grandes nos ciega ante un camino mucho más eficiente? ¿Qué pasa si la inteligencia real no está relacionada con el tamaño del modelo, sino con cuánto tiempo se le deja razonar? ¿Puede una red pequeña, si se le da la libertad de reiterar su propia solución, ser más astuta que un modelo miles de veces más grande que ella misma?
2. La fragilidad de los gigantes
Para comprender por qué necesitamos un nuevo enfoque, primero debemos observar por qué nuestros modelos de razonamiento actuales, como GPT-4, Claude y DeepSeek, todavía luchan con una lógica compleja.
Estos modelos se entrenan principalmente en el objetivo de Predicción del próximo token (NTP). Procesan el mensaje a través de sus capas de mil millones de parámetros para predecir el siguiente token en una secuencia. Incluso cuando utilizan la “Cadena de Pensamiento” (CoT) (Wei et al., 2022)4 para “razonar” sobre un problema, nuevamente solo están prediciendo una palabra que, desafortunadamente, no es pensar.
Este enfoque tiene dos defectos.
La primera es que es quebradizo. Debido a que el modelo genera sus respuestas token por token, un solo error en las primeras etapas del razonamiento puede convertirse en una respuesta completamente diferente y, a menudo, incorrecta. El modelo carece de la capacidad de detenerse, retroceder y corregir su lógica interna antes de responder. Tiene que comprometerse plenamente con el camino con el que empezó, a menudo alucinando con confianza sólo para terminar la frase.
El segundo problema es que los modelos de razonamiento modernos se basan en la memorización más que en la deducción lógica. Se desempeñan bien en tareas invisibles porque probablemente hayan visto un problema similar en sus enormes datos de entrenamiento. Pero cuando se enfrentan a un problema nuevo, algo que los modelos nunca antes habían visto (como el punto de referencia ARC-AGI), sus recuentos masivos de parámetros se vuelven inútiles. Esto muestra que los modelos existentes pueden adaptar una solución conocida, en lugar de formular una desde cero.
3. Pequeños modelos recursivos: intercambiar espacio por tiempo
El Tiny Recursion Model (TRM) (Jolicoeur-Martineau, 2025)1 descompone el proceso de razonamiento en un proceso compacto y cíclico. Las redes de transformadores tradicionales (también conocidas como nuestros modelos LLM) son arquitecturas de retroalimentación, en las que tienen que procesar la entrada a una salida en una sola pasada. TRM, por otro lado, funciona como una máquina recurrente de un módulo MLP pequeño y único, que puede mejorar su rendimiento de forma iterativa. Esto le permite superar los mejores modelos de razonamiento convencionales actuales, todo ello con un tamaño inferior a 7 millones de parámetros.
Para comprender cómo esta red resuelve problemas de manera tan eficiente, repasemos la arquitectura desde la entrada hasta la solución.
Ilustración visual de todo el entrenamiento/inferencia de TRM
3.1. La configuración: la “Trinidad” del Estado
En los LLM estándar, el único "estado" es la caché KV del historial de conversaciones. Mientras tanto, TRM mantiene tres vectores de información distintos que se alimentan de información entre sí:
La Pregunta Inmutable (x): El problema original (por ejemplo, un Laberinto o una cuadrícula de Sudoku), incrustado en un espacio vectorial. A lo largo del entrenamiento/inferencia, esto nunca se actualiza. La hipótesis actual (yt): la “mejor suposición” actual del modelo sobre la respuesta. En el paso t=0, esto se inicializa aleatoriamente como un parámetro que se puede aprender y que se actualiza junto con el modelo mismo. El razonamiento latente (zn): este vector contiene los “pensamientos” abstractos o la lógica intermedia que utiliza el modelo para derivar su respuesta. Al igual que yt, esto también se inicializa como un parámetro aleatorio al principio.
3.2. El motor central: el bucle de red única
En el corazón de TRM hay una única y pequeña red neuronal, que a menudo tiene solo dos capas de profundidad. Esta red no es una "capa de modelo" en el sentido tradicional, sino que se parece más a una función que se llama repetidamente.
El proceso de razonamiento consta de un bucle anidado que consta de dos etapas distintas: razonamiento latente y refinamiento de la respuesta.
Paso A: razonamiento latente (actualización de zn)
En primer lugar, el modelo tiene la tarea de pensar únicamente. Toma el estado actual (los tres vectores que se describieron anteriormente) y ejecuta un bucle recursivo para actualizar su propia comprensión interna del problema.
Para un número determinado de subpasos (n), la red actualiza su vector de pensamiento latente zn mediante:
El modelo toma las tres entradas y las ejecuta a través del modelo para actualizar su vector de pensamiento (continúa durante n pasos).
Aquí, la red analiza el problema (x), su mejor estimación actual (yt) y su pensamiento anterior (zn). Con esto, el modelo puede identificar contradicciones o saltos lógicos en su comprensión, que luego puede utilizar para actualizar zn. Tenga en cuenta que la respuesta yt aún no está actualizada. El modelo es puramente pensar/razonar sobre el problema.
Paso B: Refinamiento de respuestas (Actualizando yt)
Una vez que el ciclo de razonamiento latente se completa en n pasos, el modelo intenta proyectar estos conocimientos en su estado de respuesta. Utiliza la misma red para hacer esta proyección:
Para refinar su estado de respuesta, el modelo solo ingiere el vector de pensamiento y el estado de respuesta actual.
El modelo traduce su proceso de razonamiento (zn) en una predicción tangible (yt). Esta nueva respuesta se convierte en el insumo para el siguiente ciclo de razonamiento, que a su vez continúa durante T pasos en total.
Paso C: El ciclo continúa
Después de cada n pasos de refinamiento del pensamiento, se ejecuta un paso de refinamiento de respuesta (que a su vez debe invocarse T veces). Esto crea un poderoso circuito de retroalimentación donde el modelo puede refinar su propia salida a través de múltiples iteraciones. La nueva respuesta (yt+1) podría revelar información nueva que se omitió en todos los pasos anteriores (por ejemplo, "llenar esta celda del Sudoku revela que el 5 debe ir aquí"). El modelo toma esta nueva respuesta, la introduce de nuevo en el Paso A y continúa refinando sus pensamientos hasta haber completado toda la cuadrícula del sudoku.
3.3. El botón "Salir": tiempo de cálculo adaptativo simplificado
Otra innovación importante del enfoque TRM es cómo maneja todo el proceso de razonamiento con eficiencia. Un problema simple podría resolverse con solo dos bucles, mientras que uno difícil podría requerir 50 o más, lo que significa que codificar un número fijo de bucles es restrictivo y, por lo tanto, no es ideal. El modelo debería poder decidir si ya ha resuelto el problema o si aún necesita más iteraciones para pensar.
TRM emplea tiempo de computación adaptativa (ACT) para decidir dinámicamente cuándo detenerse, según la dificultad del problema de entrada.
TRM trata la parada como un simple problema de clasificación binaria, que se basa en la confianza que tiene el modelo sobre su propia respuesta actual.
La probabilidad de detención (h):
Al final de cada T pasos de refinamiento de respuestas, el modelo proyecta su estado de respuesta interno en un único valor escalar entre 0 y 1, que pretende representar la confianza del modelo:
ht: probabilidad de detención.
σ: activación sigmoidea para limitar la salida entre 0 y 1.
Lineal: Transformación lineal realizada sobre el vector de respuesta.
El objetivo de la formación:
El modelo se entrena con una pérdida de entropía cruzada binaria (BCE). Aprende a generar 1 (detener) cuando su respuesta actual yt coincide con la verdad fundamental, y 0 (continuar) si no es así.
Losshalt: valor de pérdida, que se utiliza para enseñarle al modelo cuándo detenerse.
I(•): Función condicional que genera 1 si la declaración contenida resulta ser verdadera; en caso contrario, 0.
ytrue: Verdad fundamental sobre si el modelo debe detenerse o no.
Inferencia:
Cuando el modelo se ejecuta en un nuevo problema, verifica esta probabilidad ht después de cada ciclo (es decir, n ×T pasos).
Si ht > umbral: el modelo tiene suficiente confianza. Presiona el "Botón Salir" y devuelve la respuesta actual yt como respuesta final. Si ht < umbral: el modelo aún no está seguro. Alimenta yt y zn nuevamente al bucle TRM para su deliberación y refinamiento.
Este mecanismo permite que TRM sea computacionalmente eficiente. Logra una alta precisión no por ser grande, sino por ser persistente: asignando su presupuesto de computación exactamente donde se necesita.
4. Los resultados
Para probar realmente los límites de TRM, se comparó con algunos de los conjuntos de datos lógicos más complejos disponibles, como el desafío Sudoku y ARC-AGI (Chollet, 2019)3.
1. El punto de referencia del Sudoku extremo
La primera prueba fue en el punto de referencia Sudoku-Extreme, que es un conjunto de datos de Sudoku difíciles especialmente seleccionados que requieren una deducción lógica profunda y la capacidad de retroceder en los pasos que el modelo luego se da cuenta de que estaban equivocados.
Los resultados son bastante contrarios a la convención. TRM, con apenas 5 millones de parámetros, logró una precisión del 87,4% en el conjunto de datos.
Para poner esto en perspectiva:
Los LLM de razonamiento estándar actuales como Claude 3.7, GPT o3-mini y DeepSeek R1 no pudieron completar ningún problema de Sudoku de todo el conjunto de datos, lo que resultó en una precisión del 0% en todos los ámbitos (Wang et al., 2025)2. El modelo recursivo (HRM) de última generación anterior utilizaba 27 millones de parámetros (más de 5 veces más grandes) y lograba una precisión del 55,0 %. Simplemente eliminando la compleja arquitectura basada en jerarquías de los HRM y centrándose en un único bucle recursivo, TRM mejoró la precisión en más de 30 puntos porcentuales y al mismo tiempo redujo el recuento de parámetros.
T&n: Número de ciclos de respuesta y refinamiento del pensamiento, respectivamente.
w / ACT: con el módulo de tiempo de computación adaptativo, el modelo funciona ligeramente peor.
w / fH, fL separados: redes separadas utilizadas para el refinamiento del pensamiento y las respuestas.
w / 4 capas, n=3: duplicó la profundidad arquitectónica del módulo recursivo, pero redujo a la mitad el número de recursiones.
w/autoatención: Módulo recursivo basado en bloques de atención en lugar de MLP.
2. La “trampa de la capacidad”: por qué lo más profundo era peor
Quizás la idea más contradictoria que los autores encontraron en su enfoque fue lo que sucedió cuando intentaron hacer que TRM fuera "mejor" duplicando su recuento de parámetros.
Cuando aumentaron la profundidad de la red de 2 capas a 4 capas, el rendimiento no aumentó; en cambio, se estrelló.
TRM de 2 capas: 87,4% de precisión en Sudoku. TRM de 4 capas: 79,5% de precisión en Sudoku.
En el mundo de los LLM, agregar más capas y hacer que el modelo sea más profundo ha sido la forma predeterminada de aumentar la inteligencia. Pero para el razonamiento recursivo en conjuntos de datos pequeños (TRM se entrenó en solo ~1000 ejemplos), las capas adicionales pueden convertirse en un inconveniente, ya que permiten que el modelo tenga un exceso de capacidad para memorizar patrones en lugar de deducirlos, lo que lleva a un sobreajuste.
Esto valida la hipótesis central del artículo: que la profundidad en el tiempo supera a la profundidad en el espacio. Puede ser mucho más efectivo hacer que un modelo más pequeño piense durante mucho tiempo que un modelo más grande que piense durante un período corto de tiempo. El modelo no necesita más capacidad de memorización; sólo necesita más tiempo y un medio eficiente para razonar.
3. El desafío ARC-AGI: humillar a los gigantes
El Corpus de Abstracción y Razonamiento (ARC-AGI) se considera ampliamente como uno de los puntos de referencia más difíciles para probar el reconocimiento de patrones y el razonamiento lógico en modelos de IA. Básicamente, prueba la inteligencia fluida, que es la capacidad de aprender nuevas reglas abstractas de un sistema a partir de unos pocos ejemplos. Aquí es donde suelen fallar la mayoría de los LLM de hoy en día.
Los resultados aquí son aún más impactantes. TRM, entrenado con solo 7 millones de parámetros, logró una precisión del 44,6% en ARC-AGI-1.
Compare esto con los gigantes de la industria:
DeepSeek R1 (671 mil millones de parámetros): 15,8% de precisión. Claude 3.7 (Desconocido, probablemente cientos de miles de millones): 28,6% de precisión. Gemini 2.5 Pro: 37,0% de precisión.
Un modelo que tiene un tamaño del 0,001% del DeepSeek R1 lo superó en casi 3 veces. Este es posiblemente el rendimiento más eficiente jamás registrado en este punto de referencia. Sólo en el recuento de parámetros de 1,7T de Grok-4 vemos un rendimiento que supera los enfoques de razonamiento recursivo de HRM y TRM.
5. Conclusión
Durante años, hemos medido el progreso de la IA con la cantidad de ceros detrás del recuento de parámetros. El modelo Tiny Recursion ofrece una alternativa a esta convención. Demuestra que un modelo no necesita ser enorme para ser inteligente; sólo necesita tiempo para pensar con eficacia.
Al mirar hacia la AGI, la respuesta podría no estar en construir centros de datos más grandes para incorporar modelos de billones de parámetros. Más bien, podría consistir en construir modelos de lógica diminutos y eficientes que puedan reflexionar sobre un problema durante el tiempo que sea necesario, imitando el acto tan humano de detenerse, pensar y resolver.
Referencias
Jolicoeur-Martineau, A., Menos es más: razonamiento recursivo con redes diminutas. arXiv.org (2025). Wang, G., Li, J., Sun, Y., Chen, X., Liu, C., Wu, Y., Lu, M., Song, S. y Yadkori, YA (26 de junio de 2025). Modelo de razonamiento jerárquico. arXiv.org. Chollet, F. (2019). Sobre la medida de la inteligencia. ArXiv. Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q. y Zhou, D. (28 de enero de 2022). La cadena de pensamiento provoca razonamiento en modelos de lenguaje grandes. arXiv.org. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, AN, Kaiser, L. y Polosukhin, I. (12 de junio de 2017). Atención es todo lo que necesitas. arXiv.org.