El modelado multimodal se centra en los sistemas de construcción para comprender y generar contenido en formatos visuales y textuales. Estos modelos están diseñados para interpretar escenas visuales y producir nuevas imágenes utilizando indicaciones de lenguaje natural. Con un creciente interés en unir la visión y el lenguaje, los investigadores están trabajando para integrar el reconocimiento de imágenes y las capacidades de generación de imágenes en un sistema unificado. Este enfoque elimina la necesidad de tuberías separadas y abre el camino hacia interacciones más coherentes e inteligentes a través de las modalidades.
Un desafío clave en este campo es desarrollar arquitecturas que manejen tanto la comprensión como la generación sin comprometer la calidad de ninguno de los dos. Los modelos deben comprender conceptos visuales complejos y producir imágenes de alta calidad que coincidan con las indicaciones del usuario. La dificultad radica en identificar representaciones de imágenes adecuadas y procedimientos de capacitación que respaldan ambas tareas. Este problema se hace más evidente cuando se espera que el mismo modelo interprete descripciones de texto detalladas y genere salidas visualmente precisas en función de ellas. Requiere alineación de la comprensión semántica y la síntesis de nivel de píxeles.
Los enfoques anteriores generalmente han utilizado autoencoders variacionales (VAE) o codificadores basados en clip para representar imágenes. Los VAE son eficientes para la reconstrucción, pero codifican características de nivel inferior, que a menudo conducen a representaciones menos informativas. Los codificadores basados en clip proporcionan incrustaciones semánticas de alto nivel al aprender de pares de texto de imagen a gran escala. Sin embargo, el clip no se creó para la reconstrucción de imágenes, lo que hace que sea difícil usar para la generación a menos que se combine con modelos como decodificadores de difusión. En términos de entrenamiento, el error medio cuadrado (MSE) se usa ampliamente para la simplicidad, pero tiende a producir resultados deterministas. Para mejorar la diversidad y la calidad de la generación, los investigadores han recurrido a la coincidencia de flujo, lo que introduce una estocasticidad controlada y mejor modela la naturaleza continua de las características de la imagen.
Investigadores de Salesforce Research, en colaboración con la Universidad de Maryland y varias instituciones académicas, introdujeron Blip3-O, una familia de modelos multimodales unificados. El modelo adopta una estrategia de entrenamiento de doble etapa donde la comprensión de la imagen se aprende primero, seguida de la generación de imágenes. El sistema propuesto aprovecha los incrustaciones de clip para representar las imágenes y las integra con un transformador de difusión para sintetizar nuevas salidas visuales. A diferencia de los métodos de entrenamiento conjunto previo, el enfoque secuencial mantiene la fuerza de cada tarea de forma independiente. El módulo de difusión está entrenado mientras mantiene la columna vertebral autorregresiva congelada, evitando la interferencia de la tarea. Para mejorar la alineación y la fidelidad visual, el equipo también seleccionó a Blip3O-60K, un conjunto de datos de ajuste de instrucciones de alta calidad creado al provocar GPT-4O en categorías visuales variadas, incluidas escenas, objetos, gestos y texto. Desarrollaron dos versiones modelo: un modelo de parámetros de 8 mil millones entrenado con datos públicos patentados y públicos, y una versión de 4 mil millones que utiliza solo datos de código abierto.
La tubería de generación de imágenes de Blip3-O está construida en modelos de lenguaje grande Qwen2.5-VL. Las indicaciones se procesan para producir características visuales refinadas a través de un transformador de difusión de coincidencia de flujo. Este transformador se basa en la arquitectura de Lumina-Next, optimizada para la velocidad y la calidad con la incrustación de posición rotativa 3D y la atención agrupada. El modelo codifica cada imagen en 64 vectores semánticos de longitud fija, independientemente de la resolución, que admite almacenamiento compacto y decodificación eficiente. El equipo de investigación utilizó un conjunto de datos a gran escala de 25 millones de imágenes de fuentes como CC12M, SA-1B y JourneyDB para entrenar a los modelos. Lo extendieron con 30 millones de muestras patentadas para el modelo 8B. También incluyeron 60K muestras de ajuste de instrucciones que cubren indicaciones desafiantes, como gestos complejos y puntos de referencia, generados a través de GPT-4O.
En términos de rendimiento, Blip3-O demostró puntajes superiores en múltiples puntos de referencia. El modelo 8B logró una puntuación de Geneval de 0.84 para la alineación de la generación de imágenes y una puntuación inteligente de 0.62 para la capacidad de razonamiento. La comprensión de la imagen puntuada 1682.6 en MME-Perception, 647.1 en MME-Cognition, 50.6 en MMMU y 83.1 en conjuntos de datos VQAV2 y TextVQA. Una evaluación humana que compara Blip3-O 8B con Janus Pro 7b mostró que BLIP3-O era preferido el 50,4% del tiempo para la calidad visual y el 51,5% para la rápida alineación. Estos resultados están respaldados por valores p estadísticamente significativos (5.05E-06 y 1.16E-05), lo que indica la superioridad de Blip3-O en evaluaciones de calidad subjetivas.
Esta investigación describe una solución clara al desafío dual de la comprensión y generación de imágenes. Recorte incrustaciones, coincidencia de flujo y una estrategia de entrenamiento secuencial demuestra cómo se puede abordar el problema metódicamente. El modelo Blip3-O ofrece resultados de última generación e introduce un enfoque eficiente y abierto para el modelado multimodal unificado.
Mira el Papel, Página de Github y Modelo en la cara abrazada. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 90k+ ml de subreddit.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.