Los modelos de idiomas grandes (LLM) están diseñados principalmente para tareas basadas en texto, lo que limita su capacidad para interpretar y generar contenido multimodal, como imágenes, videos y audio. Convencionalmente, las operaciones multimodales son modelos específicos de tareas capacitados en grandes cantidades de datos etiquetados, lo que los hace hambrientos de recursos y rígidos. Los métodos de disparo cero también están restringidos a pretrenesa con conjuntos de datos multimodales emparejados, lo que limita su flexibilidad a nuevas tareas. El desafío es hacer que los LLM realicen razonamiento multimodal y generación sin capacitación específica de tareas, datos curados o adaptación del modelo. Superar este desafío mejoraría significativamente la aplicabilidad de los LLM al procesamiento y generación de contenido multimodal dinámicamente en múltiples dominios.
Los sistemas de IA multimodal convencionales se basan en modelos como Clip para la alineación de texto de imagen o modelos de difusión para la generación de medios. Aún así, estos métodos están restringidos a una amplia capacitación en datos curados. Los modelos de subtítulos de disparo cero como Zerocap y Meacap intentan superar esto, pero aún están restringidos a arquitecturas fijas y optimización basada en gradientes, restringiendo su capacidad de generalización en diferentes modalidades. Estos métodos tienen tres limitaciones: están restringidos a datos etiquetados extensos, no pueden generalizarse más allá de la distribución de capacitación y se basan en métodos basados en gradientes que restringen su flexibilidad a nuevas tareas. Sin superar estas limitaciones, la IA multimodal está restringida a tareas y conjuntos de datos fijos, restringiendo su potencial para nuevas aplicaciones.
Investigadores de Meta proponen MILS (solucionador de LLM iterativo multimodal), un marco de optimización de tiempo de prueba que mejora los LLM con capacidades de razonamiento multimodal sin requerir capacitación adicional. En lugar de ajustar el LLM o volver a capacitarlo en datos multimodales, MILS utiliza un ciclo de optimización iterativo con un generador y un anotador. El generador, un LLM, produce soluciones candidatas para tareas multimodales como subtítulos de imagen, descripciones de video o indicaciones de imagen estilizadas, mientras que el anotador, un modelo multimodal previamente capacitado, clasifica las soluciones generadas por relevancia, coherencia y alineación con datos de entrada. Alternando entre los dos, MILS refina repetidamente sus resultados con retroalimentación en tiempo real, mejorando continuamente el rendimiento. Esto permite una generalización de disparo cero en varias modalidades, incluidos texto, imágenes, videos y audio, lo que lo convierte en una solución extremadamente versátil para aplicaciones de IA multimodales.
MILS se implementa como un método de optimización sin gradiente, que emplea modelos previamente capacitados sin ajustar sus parámetros. El marco se ha utilizado en una variedad de tareas multimodales. Para el subtítulos de imágenes, MILS emplea a LLAMA 3.1 8B como modelos basados en generador y clip como el anotador para encontrar iterativamente subtítulos óptimos hasta que se genere la leyenda más precisa y descriptiva. Se emplea el mismo proceso iterativo para los marcos de video, con Viclip utilizando para la evaluación y para subtitular el audio, MILS extiende el proceso a los datos de audio con el uso de ImageBind como el anotador, lo que permite a LLM generar descripciones de sonidos de lenguaje natural. Para la generación de texto a imagen, MILS optimiza las indicaciones de generación de imágenes al optimizar las descripciones textuales antes de enviarlas a modelos basados en difusión, generando imágenes más de alta calidad. El marco incluso se extiende a la transferencia de estilo, donde genera indicaciones de edición optimizadas de que los modelos de transferencia de estilo directo para generar transformaciones más visualmente consistentes. Además, propone aritmética intermodal, que combina modalidades heterogéneas, como una leyenda de audio y una descripción de la imagen, en una representación multimodal. Utilizando modelos previamente capacitados como funciones de puntuación, MILS puede evitar un entrenamiento multimodal explícito al tiempo que es agnóstico de tareas.
MILS logra un rendimiento robusto de disparo cero en una variedad de tareas multimodales y supera a los trabajos anteriores tanto en subtítulos como en generación. Para el subtítulos de las imágenes, es más semánticamente preciso que los modelos anteriores de disparo cero y genera subtítulos más naturales e informativos. Para subtítulos en video y audio, supera a los modelos entrenados en conjuntos de datos a gran escala incluso con cero entrenamiento específico de tareas. Para la generación de texto a imagen, MILS mejora la calidad y la fidelidad de la imagen, y los evaluadores humanos prefieren sus imágenes sintetizadas en una abrumadora mayoría de los casos. MILS también es efectivo para la transferencia de estilo, aprendiendo indicaciones óptimas para una mejor transformación visual. Finalmente, MILS logra nuevas características aritméticas intermodales, lo que permite la información combinada de las modalidades para generar resultados coherentes. Estos hallazgos demuestran la flexibilidad y eficiencia de MILS, por lo que es una alternativa que rompe el paradigma a los sistemas de IA multimodales basados en datos de capacitación cuidadosamente seleccionados.
MILS ofrece un nuevo paradigma para la IA multimodal en su capacidad para permitir que los LLM generen y procesen el contenido de texto, imagen, video y audio sin capacitación y ajuste fino. Su mecanismo de optimización iterativa de tiempo de prueba permite la generalización emergente de disparo cero, superando los métodos anteriores de disparo cero pero manteniéndose simple. Utilizando LLMS previamente capacitados y modelos multimodales en la retroalimentación adaptativa, MILS crea un nuevo estado del arte para la IA multimodal, lo que permite sistemas de IA más adaptativos y escalables que pueden procesar dinámicamente las tareas de razonamiento y generación multimodal.
Verificar el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 75k+ ml de subreddit.
Aswin AK es un pasante de consultoría en MarktechPost. Está persiguiendo su doble título en el Instituto de Tecnología Indio, Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, aportando una sólida experiencia académica y una experiencia práctica en la resolución de desafíos de dominio de la vida real.