Aunque los modelos básicos multimodales recientes se utilizan ampliamente, tienden a segregar varias modalidades, empleando típicamente codificadores o decodificadores específicos para cada una. Este enfoque limita su capacidad para fusionar información entre modalidades de manera efectiva y producir documentos multimodales que comprenden diversas secuencias de imágenes y texto. En consecuencia, existe una limitación en su capacidad para integrar sin problemas diferentes tipos de contenido en un solo documento.
Los metainvestigadores presentan Chameleon, un modelo básico de modo mixto que facilita la generación y el razonamiento con secuencias de texto e imágenes intercaladas, lo que permite un modelado integral de documentos multimodal. A diferencia de los modelos tradicionales, Chameleon emplea una arquitectura unificada, tratando ambas modalidades por igual al tokenizar imágenes similares al texto. Este enfoque, denominado fusión temprana, permite un razonamiento fluido entre modalidades, pero plantea desafíos de optimización. Para abordarlos, los investigadores proponen mejoras arquitectónicas y técnicas de formación. Adaptando la arquitectura del transformador y ajustando las estrategias.
Los investigadores desarrollaron un novedoso tokenizador de imágenes, que codifica imágenes de 512 × 512 en 1024 tokens de un libro de códigos 8192, centrándose en imágenes con licencia y duplicando las imágenes que contienen rostros durante el entrenamiento previo. Sin embargo, su tokenizador tiene problemas con la reconstrucción de imágenes con mucho texto. Además, entrenaron un tokenizador BPE con un vocabulario de 65,536, incluidos tokens de imágenes, utilizando la biblioteca de oraciones, sobre un subconjunto de datos de entrenamiento. Chameleon abordó problemas de estabilidad con QK-Norm, abandono y regularización de pérdida z durante el entrenamiento, lo que facilitó un entrenamiento exitoso en RSC de Meta. Procesamiento simplificado de inferencia para la generación de modos mixtos utilizando PyTorch y xformers, admitiendo modos de transmisión y no transmisión con enmascaramiento de tokens para lógica condicional.
La etapa de alineación realiza ajustes en diversos conjuntos de datos, incluidos texto, código, chat visual y seguridad, con el objetivo de mejorar las capacidades y la seguridad del modelo. Seleccionan imágenes de alta calidad para Image Generation utilizando un clasificador estético. El ajuste fino supervisado (SFT) abarca el equilibrio de datos entre modalidades, utilizando un programa de tasa de aprendizaje de coseno y una caída de peso de 0,1. Cada instancia en pares SFT genera mensajes con las respuestas correspondientes, optimizándose exclusivamente en función de estas últimas. Se aplica un abandono de 0,05, junto con la regularización de pérdida z. Las imágenes de las indicaciones cambian de tamaño con bordes acolchados, mientras que las de las respuestas se recortan en el centro para generar imágenes de calidad.
Chameleon evalúa sus capacidades de solo texto comparándolas con modelos de última generación, logrando un rendimiento competitivo en diversas tareas como razonamiento de sentido común y matemáticas. Supera a LLaMa-2 en muchas tareas, atribuyendo ganancias a un mejor entrenamiento previo y a la inclusión de datos de código. En tareas de conversión de imagen a texto, Chameleon sobresale en subtítulos de imágenes, igualando o superando modelos más grandes como Flamingo-80B e IDEFICS-80B con menos tomas. En respuesta visual a preguntas (VQA), se acerca al rendimiento de los mejores modelos, aunque Llava-1.5 supera ligeramente a VQA-v2. La versatilidad y eficiencia de Chameleon lo hacen competitivo en diferentes tareas, ya que requieren menos ejemplos de capacitación y modelos de menor tamaño.
En resumen, este estudio presenta Chameleon, un modelo basado en tokens que logra un rendimiento superior en tareas de visión y lenguaje al integrar tokens de imágenes y texto a la perfección. Su arquitectura permite el razonamiento conjunto sobre modalidades, superando modelos de fusión tardía como Flamingo e IDEFICS en tareas como subtítulos de imágenes y respuesta visual a preguntas. El enfoque de fusión temprana de Chameleon introduce técnicas novedosas para el entrenamiento estable, abordando desafíos de escalabilidad anteriores. Desbloquea nuevas posibilidades de interacción multimodal, evidentes en su sólido desempeño en puntos de referencia abiertos de control de calidad de modos mixtos.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 42k+ ML
Asjad es consultor interno en Marktechpost. Está cursando B.Tech en ingeniería mecánica en el Instituto Indio de Tecnología, Kharagpur. Asjad es un entusiasta del aprendizaje automático y el aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en la atención médica.