El campo de los modelos de lenguaje grande ha estado dominado durante mucho tiempo por métodos autorregresivos que predicen el texto secuencialmente de izquierda a derecha. Si bien estos enfoques alimentan los sistemas de IA más capaces de hoy, enfrentan limitaciones fundamentales en la eficiencia computacional y el razonamiento bidireccional. Un equipo de investigación de China ahora ha desafiado la suposición de que el modelado autorregresivo es el único camino para lograr las capacidades lingüísticas similares a los humanos, introduciendo una arquitectura innovadora basada en difusión llamada LLADA que reinventa cómo los modelos de lenguaje procesan la información.
Los modelos de lenguaje actuales funcionan a través de la predicción de la próxima palabra, lo que requiere cálculos cada vez más complejos a medida que crecen las ventanas de contexto. Esta naturaleza secuencial crea cuellos de botella en la velocidad de procesamiento y limita la efectividad en las tareas que requieren razonamiento inverso. Por ejemplo, los modelos autorregresivos tradicionales sufren de la maldición de reversión—Un fenómeno donde los modelos entrenaron para predecir la siguiente lucha simbólica con tareas lógicas hacia atrás. Considere la finalización de la poesía:
- Tarea de reenvío (fuerza autorregresiva): Dado el aviso “Las rosas son rojas” Los modelos continúan fácilmente con “Las violetas son azules”.
- Tarea de reversión (debilidad autorregresiva): Dado “Las violetas son azules” Los mismos modelos a menudo no recuerdan “Las rosas son rojas” como la línea anterior.
Este sesgo direccional proviene de su entrenamiento para predecir el texto estrictamente de izquierda a derecha. Si bien existen modelos de lenguaje enmascarados (como Bert), tradicionalmente usan relaciones de enmascaramiento fijas, lo que limita sus capacidades generativas. Los investigadores proponen LLADA (gran difusión del lenguaje con el enmascaramiento), que implementa un Estrategia de enmascaramiento dinámico a través de pasos de difusión para superar estas restricciones (ilustradas en la Fig. 2). A diferencia de los modelos autorregresivos, LLADA procesa tokens en paralelo a través de un marco bidireccional, aprendiendo relaciones contextuales en todas las direcciones simultáneamente.
La arquitectura de Llada emplea un transformador sin enmascaramiento causal, capacitado a través de dos fases:
- Pretruado: El modelo aprende a reconstruir segmentos de texto enmascarados al azar en 2.3 billones de tokens. Imagine reparar un manuscrito dañado donde las palabras desaparecen de manera impredecible: las prácticas de llada llenan los vacíos en cualquier orden. Por ejemplo:
- Comience con una oración enmascarada: “[MASK] son rojos, [MASK] son azules “.
- Predecir “Violetas” Para el segundo blanco primero, luego “Rosas” para el primero.
- Los ciclos de enmascaramiento/desenmascaramiento repetidos eliminan el sesgo direccional.
- Ajuste de fino supervisado: El modelo se adapta a los pares de respuesta de instrucción enmascarando solo la parte de respuesta, lo que permite el refinamiento específico de la tarea mientras retiene la comprensión bidireccional.
Durante la generación, LLADA comienza con campos de salida totalmente enmascarados y refina iterativamente las predicciones a través de la ración basada en la confianza:
- En cada paso de difusión, el modelo predice todos los tokens enmascarados simultáneamente.
- Las predicciones de baja confianza (p. Ej., Palabras inciertas en la línea de apertura de un poema) se reponen la reevaluación.
- Este proceso de “recocido semántico” se repite hasta que surge un texto coherente.
Las evaluaciones de rendimiento revelan capacidades sorprendentes. Cuando se escalan a 8 mil millones de parámetros, LLADA coincide o excede modelos autorregresivos de tamaño equivalente como LLAMA2-7B en 15 puntos de referencia, sobresaliendo en razonamiento matemático (GSM8K) y tareas chinas. Crucialmente, supera la maldición de inversión:
- Logrado 42% de precisión En tareas de finalización del poema hacia atrás vs. GPT-4’s 32%mientras mantiene la paridad en la generación hacia adelante.
- Demostrado un rendimiento constante en las tareas de control de control de reversión (por ejemplo, “¿Quién es la madre de Tom Cruise?” vs. “¿Quién es el hijo de Mary Lee Pfeiffer?”), donde los modelos autorregresivos a menudo fallan.
El modelo también muestra una escala eficiente: los costos de competencia crecen comparablemente con las arquitecturas tradicionales a pesar de su enfoque novedoso. En particular, en tareas como MMLU y GSM8K, LLADA exhibe una escalabilidad aún más fuerte.
En resumen, este avance sugiere que surgen capacidades de lenguaje clave de Principios generativos fundamentalesno diseños autorregresivos solo. Si bien las implementaciones actuales se retrasan ligeramente en tareas como MMLU (probablemente debido a variaciones de calidad de datos), LLADA establece modelos de difusión como alternativas viables. La investigación abre puertas a la generación paralela y un razonamiento bidireccional, aunque los desafíos permanecen en la optimización de inferencia y la alineación con las preferencias humanas. A medida que el campo explora estas alternativas, podemos estar presenciando las primeras etapas de un cambio de paradigma en cómo las máquinas procesan el lenguaje, uno en el que los modelos “piensan holísticamente” en lugar de estar limitados a la predicción lineal.
Verificar el Papel y Página del proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 75k+ ml de subreddit.
Vineet Kumar es un pasante de consultoría en MarktechPost. Actualmente está persiguiendo su BS del Instituto Indio de Tecnología (IIT), Kanpur. Es un entusiasta del aprendizaje automático. Le apasiona la investigación y los últimos avances en aprendizaje profundo, visión por computadora y campos relacionados.
