Crear asistentes de uso general que puedan llevar a cabo de manera eficiente diversas actividades del mundo real siguiendo las instrucciones (multimodales) de los usuarios ha sido durante mucho tiempo un objetivo de la inteligencia artificial. Recientemente, el área ha visto un mayor interés en la creación de modelos básicos con una comprensión multimodal emergente y la generación de habilidades en desafíos de mundo abierto. Aún queda por descubrir cómo crear asistentes multimodales de propósito general para visión por computadora y actividades de visión y lenguaje, a pesar de la efectividad de emplear modelos de lenguaje grandes (LLM) como ChatGPT para producir asistentes de propósito general para tareas de lenguaje natural.
Los esfuerzos actuales encaminados a crear agentes multimodales pueden dividirse generalmente en dos grupos:
(i) Capacitación de un extremo a otro utilizando LLM, en la que se crea una sucesión de grandes modelos multimodales (LMM) mediante la capacitación continua de LLM para aprender a interpretar información visual utilizando datos de imagen-texto y datos multimodales de seguimiento de instrucciones. Tanto los modelos de código abierto como LLaVA y MiniGPT-4 como los modelos privados como Flamingo y el GPT-4 multimodal han demostrado impresionantes habilidades de razonamiento y comprensión visual. Si bien estos enfoques de capacitación integral funcionan bien para ayudar a los LMM a adquirir habilidades emergentes (como el aprendizaje en contexto), crear una arquitectura cohesiva que pueda integrar sin problemas una amplia gama de habilidades, como la segmentación y generación de imágenes, que son esenciales para Las aplicaciones multimodales en el mundo real siguen siendo una tarea difícil.
(ii) Encadenamiento de herramientas con LLM, en el que las indicaciones están cuidadosamente diseñadas para permitir que los LLM recurran a varias herramientas (como modelos de visión que ya han sido entrenados) para realizar (sub)tareas deseadas, todo sin requerir más capacitación en el modelo. VisProg, ViperGPT, Visual ChatGPT, X-GPT y MM-REACT son trabajos muy conocidos. El punto fuerte de estos enfoques es su capacidad para manejar una amplia gama de tareas visuales utilizando (nuevas) herramientas que pueden desarrollarse de forma económica e integrarse en un agente de IA. Sin embargo, las indicaciones deben ser más flexibles y confiables para permitir a los agentes multimodales elegir y activar de manera confiable las herramientas adecuadas (de un conjunto de herramientas amplio y variado) y componer sus resultados para brindar soluciones finales para tareas multimodales en el mundo real en movimiento.
Figura 1: Una representación gráfica de las posibilidades de LLaVA-Plus posibles mediante la adquisición de habilidades.
Investigadores de la Universidad de Tsinghua, Microsoft Research, la Universidad de Wisconsin-Madison, HKUST e IDEA Research en este papel Presentamos LLaVA-Plus (Asistentes de lenguaje y visión de gran tamaño que se conectan y aprenden a usar habilidades), un asistente multimodal con una amplia gama de aplicaciones que adquiere habilidades de uso de herramientas a través de una metodología de capacitación de extremo a extremo que mejora metódicamente las capacidades de los LMM a través de herramientas visuales. ajuste de instrucciones. Hasta donde saben, este es el primer intento documentado de combinar las ventajas del encadenamiento de herramientas descrito anteriormente y las técnicas de capacitación de un extremo a otro. El repositorio de habilidades que viene con LLaVA-Plus tiene una gran selección de herramientas de visión y lenguaje visual. El diseño es un ejemplo de la teoría de la “Sociedad de la Mente”, en la que se crean herramientas individuales para determinadas tareas y tienen un uso limitado por sí solas; sin embargo, cuando estas herramientas se combinan, proporcionan habilidades emergentes que demuestran una mayor inteligencia.
Por ejemplo, dadas las entradas multimodales de los usuarios, LLaVA-Plus puede crear un nuevo flujo de trabajo instantáneamente, elegir y activar herramientas pertinentes de la biblioteca de habilidades y ensamblar los resultados de su ejecución para completar varias tareas del mundo real que no son visibles durante el entrenamiento del modelo. . Mediante ajustes en las instrucciones, LLaVA-Plus puede mejorarse con el tiempo agregando capacidades o instrumentos adicionales. Considere una herramienta multimodal completamente nueva creada para un caso de uso o habilidad determinados. Para crear datos de seguimiento de instrucciones para el ajuste, recopilan instrucciones de usuario relevantes que requieren esta herramienta junto con los resultados de su ejecución o los resultados siguientes. Tras modificar las instrucciones, LLaVA-Plus adquiere más capacidades a medida que aprende a utilizar esta nueva herramienta para realizar trabajos que antes eran imposibles.
Además, LLaVA-Plus se desvía de estudios anteriores sobre capacitación en el uso de herramientas para LLM al utilizar señales visuales exclusivamente junto con herramientas multimodales. Por otro lado, LLaVA-Plus mejora la capacidad de planificación y razonamiento de LMM mediante el uso de señales visuales no procesadas para todas las sesiones de contacto humano-IA. En resumen, las contribuciones de su artículo son las siguientes:
• Utilizar datos para una nueva herramienta multimodal de seguimiento de instrucciones. Utilizando ChatGPT y GPT-4 como herramientas de etiquetado, describen un nuevo canal para seleccionar datos de seguimiento de instrucciones de visión y lenguaje destinados a ser utilizados como herramienta en sesiones de interacción entre humanos y IA.
• Un nuevo y gran ayudante multimodal. Han creado LLaVA-Plus, un asistente multimodal con una amplia gama de usos que amplía LLaVA al integrar una colección extensa y variada de herramientas externas que se pueden elegir, ensamblar y utilizar rápidamente para completar tareas. La Figura 1 ilustra cómo LLaVA-Plus amplía enormemente las posibilidades de LMM. Su investigación empírica verifica la eficacia de LLaVA-Plus al mostrar resultados consistentemente mejores en varios puntos de referencia, especialmente el nuevo SoTA en VisiT-Bench con una amplia gama de actividades del mundo real.
• Sin fuente. Los materiales que pondrán a disposición del público son los datos de instrucción multimodal producidos, el código base, los puntos de control de LLaVA-Plus y una demostración de chat visual.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Aneesh Tickoo es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en Ciencia de Datos e Inteligencia Artificial en el Instituto Indio de Tecnología (IIT), Bhilai. Pasa la mayor parte de su tiempo trabajando en proyectos destinados a aprovechar el poder del aprendizaje automático. Su interés de investigación es el procesamiento de imágenes y le apasiona crear soluciones en torno a él. Le encanta conectarse con personas y colaborar en proyectos interesantes.