Liquid AI ha lanzado Antidoom, un método de código abierto que apunta a un modo de falla común en los modelos de razonamiento. Ese modo de fracaso es el bucle fatal. En un bucle fatal, un modelo emite un lapso. Luego repite ese lapso una y otra vez. La salida continúa hasta que se agota la ventana de contexto. Los modelos de razonamiento pequeños son más propensos a esto, especialmente en trazos de pensamiento prolongados y problemas difíciles.
En un punto de control inicial de LFM2.5-2.6B, el 10,2 % de las respuestas a preguntas difíciles de matemáticas y codificación produjeron bucles repetitivos. Después del entrenamiento de Antidoom, esa tasa cayó al 1,4%. Las puntuaciones de evaluación mejoraron en todos los ámbitos, atribuible enteramente a la reducción del bucle.
TL;DR
Antidoom reduce los bucles fatales al volver a entrenar solo el primer token de inicio del bucle. FTPO distribuye la probabilidad entre múltiples alternativas coherentes, no un reemplazo. El bucle LFM2.5-2.6B cayó entre un 10,2% y un 1,4%; Qwen3.5-4B cayó entre un 22,9% y un 1%. La canalización se ejecuta en unas pocas horas y la pila completa es de código abierto.
¿Qué es Antidoom?
Antidoom es una solución específica, no un cambio de muestra amplio. Encuentra el token exacto que inicia un bucle. Luego entrena el modelo para que prefiera alternativas coherentes en esa única posición. El resto de la distribución permanece prácticamente intacto.
El método adapta Antislop. Se entrena con pares elegidos/rechazados que representan un único token de finalización. El algoritmo de entrenamiento es la Optimización de preferencia de token final (FTPO), que es similar a DPO.
La capacitación no le enseña al modelo nada nuevo sobre matemáticas o código. Borra el bucle que bloqueaba las respuestas que el modelo ya podía producir.
Anatomía de un bucle fatal
El equipo de Liquid AI atribuye los bucles fatales a tres mecanismos que funcionan juntos:
Mecanismo 1: fichas sobreentrenadas más incertidumbre. Es más probable que algunos tokens sean seleccionados en general. Ejemplos bien conocidos en la naturaleza incluyen “profundizar” y “testamento”. El equipo de Liquid AI señala que esto puede deberse a datos sintéticos en el conjunto de entrenamiento. En los rastros de razonamiento, las continuaciones de alto prioridad a menudo incluyen marcadores del discurso como “Esperar” o “Alternativamente”. Estos tokens no son intrínsecamente malos. Pueden marcar un cambio útil de estrategia, un paso de verificación o una sucursal. Cuando el modelo es incierto o está estancado, se convierten en atractivas continuaciones alternativas.
Para un punto de control inicial de LFM2.5-2.6B, los tokens de inicio de bucle más comunes fueron los siguientes.
Mecanismo 2: el contexto previo refuerza el bucle. Cada repetición empuja cada ficha en el lapso hacia la probabilidad de que Duan et al. estudie esto en su trabajo sobre razonamiento circular. Lo vinculan a un patrón de atención en “forma de V”. Encuentran que la repetición semántica precede a la repetición textual.
Mecanismo 3: muestreo codicioso. Los modelos de razonamiento normalmente se ejecutan a baja temperatura para obtener trazas estables y reproducibles. A temperatura 0, siempre se selecciona la ficha más probable. Un bucle reforzado localmente no tiene salida. Liquid AI informa bucles significativos incluso a una temperatura = 0,67. Las temperaturas más bajas agravan el problema.
Cómo Antidoom localiza el fallo
Antidoom genera terminaciones en una mezcla rápida diseñada para provocar bucles, a baja temperatura. Esa combinación se envía como el conjunto de datos LiquidAI/antidoom-mix-v1.0. Se detecta un bucle cuando una sección se repite al menos cuatro veces, en al menos 60 caracteres.
Luego, el método se dirige al primer token de la primera repetición. En esa posición, toma las alternativas top-k log-prob del modelo base. Filtra ruidos cortos o no alfanuméricos. Mantiene hasta 20 sustitutos plausibles como fichas elegidas.
Cada fila de entrenamiento es una tupla de prefijo de solicitud, un token rechazado y uno o más tokens elegidos. Las distribuciones elegidas y rechazadas se regularizan antes del entrenamiento. De lo contrario, unos pocos culpables como Wait, So, dominarían y la supresión excesiva degradaría el razonamiento.
La regla de detección en sí es sencilla de expresar en código. El siguiente fragmento es ilustrativo.
Cada bucle detectado se convierte en una fila de entrenamiento. La estructura es una tupla simple.
Optimización de preferencia de token final (FTPO)
FTPO es un algoritmo de optimización de preferencias similar a DPO. Una muestra de entrenamiento tiene una sugerencia, una continuación elegida y una continuación rechazada. Está diseñado para cambiar un puñado de tokens, de lo contrario con una mínima alteración en el modelo.
FTPO se diferencia de DPO en cuatro aspectos:
Entrenamiento del token final: entrena solo el token final de una secuencia que se encuentra en la mitad de la generación. Múltiples tokens elegidos por muestra: distribuye la probabilidad entre un grupo de alternativas, de modo que un token sobreentrenado no sea simplemente reemplazado por otro. Pérdida similar a KL en el espacio logit: omite el softmax y calcula la divergencia de la referencia en logits, evitando la presión sobre tokens no relacionados. Regularización en dos partes: los logits elegidos y rechazados se mueven más libremente, mientras que el vocabulario restante permanece estrictamente restringido.
En la implementación de Antidoom, el modelo se entrena durante una época con LoRA. Los rangos altos de LoRA de 128-256 dieron los mejores resultados. La formación cubre toda la atención y las proyecciones MLP, además de lm_head. Las tasas de aprendizaje oscilan entre 4e-6 y 2e-5.
El entrenamiento utiliza la detención anticipada en elegido_win, la proporción de muestras en las que los tokens elegidos superan a los rechazados. Detenerse en elegido_win=0,35 reduce las tasas de doom loop del 20-30% al 1-2%. El entrenamiento más prolongado tendió a degradar el modelo.
Para el punto de control inicial LFM2.5-2.6B, la generación del conjunto de entrenamiento tomó aproximadamente una hora en 8 GPU MI325. Luego, el entrenamiento tomó entre una y dos horas en una sola GPU MI325. La generación se detiene después de recolectar 20.000 pares.
Cómo se compara Antidoom con las soluciones habituales
Resultados
Después del entrenamiento, la tasa de bucle fatal en el primer punto de control LFM2.5-2.6B cayó del 10,2% al 1,4%. Las puntuaciones de evaluación mejoraron en todos los ámbitos, atribuible enteramente a la reducción de los bucles.
El equipo de Liquid AI también ejecutó el proceso en Qwen3.5-4B, que se sabe que genera un bucle durante el razonamiento. Su tasa de fatalidad cayó del 22,9% al 1% bajo un muestreo codicioso. Las puntuaciones de evaluación aumentaron notablemente.
La puntuación de evaluación cambió inversamente con la tasa del bucle fatal a medida que aumentaba la temperatura. Después del entrenamiento, ambos modelos mostraron una caída de rendimiento cercana a temp=1,0. Esto es de esperarse, ya que el muestreo a mayor temperatura puede favorecer los tokens menos preferidos. Una vez que se elimina el bucle, el muestreo casi codicioso dio las puntuaciones más altas en los modelos probados.
El equipo de Liquid AI señala un punto relacionado sobre la práctica común. La creencia de que las temperaturas más altas ayudan al razonamiento puede combinarse con el efecto del bucle fatalista. En sus pruebas, una vez que desaparecen los bucles, el muestreo casi codicioso funciona mejor.
Varias rondas pueden ayudar. La primera ronda rechaza los tokens que causan bucles y los repondera hacia alternativas. Eso puede exponer nuevos puntos de falla, a los que luego se dirige una segunda ronda.