Los modelos de difusión, conocidos por su éxito en la generación de imágenes de alta calidad, ahora se están explorando como una base para manejar diversos tipos de datos. Estos modelos descenan los datos y reconstruyen el contenido original de las entradas ruidosas. Esta capacidad hace que los modelos de difusión prometieran para tareas multimodales que involucran datos discretos, como texto y datos continuos, como imágenes.
El desafío en los modelos multimodales es construir sistemas que pueden manejar la comprensión y la generación en texto e imágenes sin usar métodos o arquitecturas separadas. Los modelos existentes a menudo luchan para equilibrar estas tareas de manera efectiva. Están diseñados para tareas específicas como la generación de imágenes o la respuesta de las preguntas, lo que da como resultado un rendimiento limitado en tareas unificadas. Las técnicas posteriores al entrenamiento que podrían alinear aún más los modelos en las tareas de razonamiento y generación también están subdesarrolladas, dejando una brecha en modelos multimodales totalmente integrados que pueden manejar diversos desafíos utilizando un diseño único.
Los enfoques populares como Show-O, Janus y Seed-X combinan modelos autorregresivos para modelos de texto y difusión para imágenes, que requieren funciones y arquitecturas de pérdida separadas. Estos modelos utilizan esquemas de tokenización distintos y tuberías separadas para tareas de texto e imágenes, lo que complica el entrenamiento y limita su capacidad para manejar el razonamiento y la generación de una manera unificada. Además, se centran en gran medida en las estrategias previas a la preparación, con vistas a los métodos posteriores a la capacitación que podrían ayudar a estos modelos a aprender a razonar en diferentes tipos de datos.
Investigadores de la Universidad de Princeton, la Universidad de Pekín, la Universidad de Tsinghua y la byte han introducido MMADA, un modelo de difusión multimodal unificado. Este sistema integra razonamiento textual, comprensión visual y generación de imágenes en un marco probabilístico. MMADA utiliza una arquitectura de difusión compartida sin depender de componentes específicos de modalidad, simplificando la capacitación en diferentes tipos de datos. El diseño del modelo le permite procesar datos textuales y visuales, permitiendo un enfoque optimizado y cohesivo para tareas de razonamiento y generación.
El sistema MMADA introduce una estrategia de ficción larga y larga de pensamiento (long-cot) mixta que alinea los pasos de razonamiento a través de tareas de texto e imágenes. Los investigadores seleccionaron un conjunto de datos diversos de rastros de razonamiento, como la resolución de problemas en las matemáticas y la respuesta de las preguntas visuales, para guiar el modelo en el aprendizaje del razonamiento complejo a través de las modalidades. También desarrollaron unigrpo, un algoritmo de aprendizaje de refuerzo diseñado para modelos de difusión, que utiliza gradientes de políticas y señales de recompensa diversificadas, incluida la corrección, la adherencia al formato y la alineación con el contenido visual. La tubería de entrenamiento del modelo incorpora una estrategia de enmascaramiento uniforme y pasos de desocuación estructurada, asegurando la estabilidad durante el aprendizaje y permitiendo que el modelo reconstruya el contenido en diferentes tareas de manera efectiva.
En los puntos de referencia de rendimiento, MMADA demostró fuertes resultados en diversas tareas. Logró una puntuación de clip de 32.46 para la generación de texto a imagen y una imagen de 1.15 modelos superiores a SDXL y Janus. En la comprensión multimodal, alcanzó una puntuación del Papa de 86.1, una puntuación MME de 1410.7 y una puntuación FlickR30k de 67.6, superando sistemas como Show-O y Seed-X. Para el razonamiento textual, MMADA obtuvo 73.4 en GSM8K y 36.0 en Math500, superando a otros modelos basados en difusión como LLADA-8B. Estos resultados destacan la capacidad de MMADA para ofrecer resultados consistentes y de alta calidad en tareas de razonamiento, comprensión y generación.
En general, MMADA proporciona una solución práctica a los desafíos de construir modelos multimodales unificados mediante la introducción de una arquitectura simplificada y técnicas innovadoras de capacitación. La investigación muestra que los modelos de difusión pueden sobresalir como sistemas de propósito general capaces de razonar y generar en múltiples tipos de datos. Al abordar las limitaciones de los modelos existentes, MMADA ofrece un plan para desarrollar sistemas de IA futuros que integren perfectamente diferentes tareas en un marco único y robusto.
Mira el Papel, Modelo en la cara abrazada y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit y suscribirse a Nuestro boletín.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.