Recientemente, ha habido avances significativos en la creación de imágenes a partir de descripciones de texto y en la combinación de texto e imágenes para generar otras nuevas. Sin embargo, un área inexplorada es la generación de imágenes a partir de entradas de lenguaje visual generalizadas (por ejemplo, generar una imagen a partir de la descripción de una escena que involucra múltiples objetos y personas). Un equipo de investigadores de Microsoft Research, la Universidad de Nueva York y la Universidad de Waterloo presentaron KOSMOS-G, un modelo que aprovecha los LLM multimodales para abordar este problema.
KOSMOS-G puede crear imágenes detalladas a partir de combinaciones complejas de texto y múltiples imágenes, incluso cuando no ha visto estos ejemplos. Es el primer modelo que puede generar imágenes en situaciones en las que hay varios objetos o cosas en las imágenes según una descripción. KOSMOS-G se puede utilizar en lugar de CLIP, lo que abre nuevas posibilidades para utilizar otras técnicas como ControlNet y LoRA para diversas aplicaciones.
KOSMOS-G utiliza un enfoque inteligente para generar imágenes a partir de texto e imágenes. Primero comienza entrenando un LLM multimodal (que puede comprender texto e imágenes juntos), que luego se alinea con el codificador de texto CLIP (que es bueno para comprender texto).
Cuando le damos a KOSMOS-G un título con texto e imágenes segmentadas, está entrenado para crear imágenes que coincidan con la descripción y seguir las instrucciones. Para ello, utiliza un decodificador de imágenes previamente entrenado y aprovecha lo que ha aprendido de las imágenes para generar imágenes precisas en diferentes situaciones.
KOSMOS-G puede generar imágenes basadas en instrucciones y datos de entrada. Tiene tres etapas de formación. En la primera etapa, el modelo se entrena previamente en corpus multimodales. En la segunda etapa, se entrena un AlignerNet para alinear el espacio de salida de KOSMOS-G con el espacio de entrada de U-Net mediante supervisión CLIP. En la tercera etapa, KOSMOS-G se perfecciona mediante una tarea de generación de composición sobre datos seleccionados. Durante la Etapa 1, solo se entrena el MLLM. En la Etapa 2, AlignerNet se entrena con MLLM congelado. Durante la Etapa 3, tanto AlignerNet como MLLM reciben capacitación conjunta. El decodificador de imágenes permanece congelado durante todas las etapas.
KOSMOS-G es realmente bueno en la generación de imágenes sin disparo en diferentes configuraciones. Puede crear imágenes que tengan sentido, se vean bien y se personalicen de manera diferente. Puede hacer cosas como cambiar el contexto, agregar un estilo particular, realizar modificaciones y agregar detalles adicionales a las imágenes. KOSMOS-G es el primer modelo que logra VL2I de múltiples entidades en una configuración de disparo cero.
KOSMOS-G puede sustituir fácilmente a CLIP en los sistemas de generación de imágenes. Esto abre nuevas e interesantes posibilidades para aplicaciones que antes eran imposibles. Al basarse en CLIP, se espera que KOSMOS-G avance en el paso de generar imágenes basadas en texto a generar imágenes basadas en una combinación de texto e información visual, creando oportunidades para muchas aplicaciones innovadoras.
En resumen, KOSMOS-G es un modelo que puede crear imágenes detalladas tanto a partir de texto como de varias imágenes. Utiliza una estrategia única llamada “alinear antes de instruir” en su capacitación. KOSMOS-G es bueno para crear imágenes de objetos individuales y es el primero en hacerlo con múltiples objetos. También puede reemplazar CLIP y usarse con otras técnicas como ControlNet y LoRA para nuevas aplicaciones. En resumen, KOSMOS-G es un paso inicial para hacer de las imágenes un lenguaje de generación de imágenes.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 31k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
También estamos en WhatsApp. Únase a nuestro canal de IA en Whatsapp.
Soy graduado en ingeniería civil (2022) de Jamia Millia Islamia, Nueva Delhi, y tengo un gran interés en la ciencia de datos, especialmente las redes neuronales y su aplicación en diversas áreas.