Los LLM han revolucionado la inteligencia artificial, transformando varias aplicaciones en todas las industrias. Los modelos autorregresivos (AR) dominan la generación de texto actual, con sistemas líderes como GPT-4, Deepseek y Claude, todos utilizando arquitecturas secuenciales de izquierda a derecha. A pesar de las impresionantes capacidades, las preguntas fundamentales sobre los paradigmas arquitectónicos de próxima generación han surgido cuando los modelos AR exhiben limitaciones a escala. Estos desafíos incluyen dificultades de razonamiento complejas, una planificación inadecuada a largo plazo y luchas para mantener la coherencia en contextos extendidos. Estos son problemáticos para las aplicaciones emergentes en IA incorporada, agentes autónomos y sistemas de toma de decisiones de oraciones largas donde el razonamiento sostenido y la comprensión contextual son esenciales para el éxito.
Los modelos de difusión discretos (DMS) son una alternativa prometedora a los enfoques autorregresivos para la generación de secuencias. A diferencia de los modelos AR que generan tokens secuencialmente, los DMS refinan todas las secuencias en paralelo de un estado totalmente rentable. Esta diferencia proporciona ventajas significativas: el modelado contextual bidireccional mejora la coherencia global, la generación flexible controlable ocurre naturalmente a través del refinamiento iterativo y el potencial existe para la aceleración de muestreo fundamental a través de un mapeo eficiente de ruido a datos. Los avances recientes muestran el potencial de creciente de difusión en las tareas de idiomas, con modelos como DiffulLama y Llada Escala a parámetros 7B, mientras que Mercury Coder muestra una eficiencia de inferencia impresionante en la generación de códigos.
Investigadores de la Universidad de Hong Kong y Ark Lab de Huawei Noah lanzaron Dream 7b (modelo de razonamiento de difusión), la difusión abierta más potente modelo de lenguaje grande hasta la fecha. El modelo coincide o excede modelos AR de tamaño similar en tareas generales, matemáticas y puntos de referencia de codificación. Dream 7b muestra capacidades excepcionales de planificación de disparo cero y flexibilidad de inferencia, superando modelos más grandes como Deepseek V3 (671b) en tareas estructuradas. Entrenados en tokens 580B de diversos conjuntos de datos, incluidos Dolma y OpenCoder, el modelo emplea la difusión basada en máscaras con la inicialización de peso autorregresivo de Qwen2.5 7b. Su arquitectura permite un poderoso procesamiento de contexto bidireccional, generación de orden arbitrario, capacidades de relleno y compensaciones de velocidad de calidad ajustables durante la inferencia.
Dream 7b se basa en trabajos anteriores en modelado de lenguaje de difusión, utilizando la base teórica de RDM y la estrategia de adaptación de DiFulLama. Implementa un paradigma de difusión de máscara con arquitectura diseñada para diversas aplicaciones. Los datos de capacitación utilizan texto, matemáticas y código de fuentes, incluidas Dolma V1.7, OpenCoder y DCLM-Baseline. El pretratado utilizó 580 mil millones de tokens, ejecutados en 96 GPU de NVIDIA H800 durante 256 horas sin picos de pérdidas irrecuperables. Experimentación extensa de diseño en el nivel de parámetros 1B identificó componentes críticos, incluida la inicialización de peso de modelos autorregresivos como Qwen2.5 y Llama3, junto con el reposredón de ruido a nivel de token adaptativo contextivo que resultó esencial para el entrenamiento de los sueños 7B.
El método propuesto se evalúa en las tareas Countdown y Sudoku con dificultad de planificación ajustable, comparando contra LLADA 8B, QWEN2.5 7B, LLAMA3 8B y Deepseek V3 671B. Superenta a los modelos de referencia de tamaño similar, con ambos modelos de difusión que superan las alternativas autorregresivas. Estos modelos de difusión ocasionalmente exceden Deepseek V3 a pesar de su recuento de parámetros mucho más grande, que muestran la efectividad de los modelos de difusión para tareas de resolución de problemas múltiples y objetivos específicos. El método se sometió a una capacitación supervisada supervisada utilizando pares de instrucciones de 1.8M de conjuntos de datos TULU 3 y SMOLLM2 en tres épocas. Los resultados indican la capacidad de Dream para igualar el rendimiento del modelo autorregresivo:
En conclusión, los investigadores introdujeron Dream 7b, que representa una familia innovadora de modelos de lenguaje de difusión caracterizados por la eficiencia, la escalabilidad y la flexibilidad a través de metodologías de entrenamiento cuidadosamente desarrolladas. Estos modelos funcionan comparablemente con los principales modelos autorregresivos de tamaño similar en tareas generales, matemáticas y aplicaciones de codificación. Las fortalezas más distintivas de Dream surgen en escenarios de planificación avanzada y capacidades de inferencia flexible, donde su arquitectura basada en difusión proporciona ventajas significativas sobre los enfoques autorregresivos tradicionales. Este logro muestra la viabilidad de los modelos de difusión como una ruta alternativa convincente en el desarrollo del modelo de lenguaje.
Verificar el Dream-org/Dream-V0-Instructo-7b y Dream-Org/Dream-V0-Base-7B. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.