Mediante un entrenamiento previo adicional utilizando pares de imagen y texto o ajustándolos con conjuntos de datos de ajuste de instrucciones visuales especializados, los modelos de lenguaje grandes pueden sumergirse en el dominio multimodal, dando lugar a potentes modelos multimodales grandes. Sin embargo, existen obstáculos para construir LMM, el principal de ellos la disparidad entre la cantidad y calidad de los datos multimodales y los conjuntos de datos de solo texto. Tomemos como ejemplo el modelo LLaVA, inicializado a partir de un codificador visual previamente entrenado y un modelo de lenguaje modificado para recibir instrucciones. Está entrenado en muchas menos instancias que los modelos de solo texto, que utilizan más de 100 millones de ejemplos en 1800 tareas. Solo está entrenado en 150.000 conversaciones basadas en imágenes artificiales. Debido a dichas restricciones de datos, es posible que las modalidades visual y lingüística no estén alineadas.
Como resultado, los LMM podrían generar resultados alucinatorios que no están correctamente vinculados al contexto que brindan las imágenes. Investigadores de UC Berkeley, CMU, UIUC, UW–Madison, UMass Amherst Microsoft Research y MIT-IBM Watson AI Lab presentan LLaVA-RLHF, un modelo de visión y lenguaje entrenado para una alineación multimodal mejorada, para abordar los problemas provocados por la ausencia. de datos de ajuste de instrucciones visuales de alta calidad para el entrenamiento LMM. Una de sus principales contribuciones es adaptar la alineación multimodal de los LMM al paradigma de alineación universal y escalable conocido como aprendizaje por refuerzo a partir de la retroalimentación humana, que ha demostrado una eficacia notable para los agentes de IA basados en texto. Para perfeccionar LMM, recopila preferencias humanas centrándose en reconocer alucinaciones y utiliza esas preferencias en el aprendizaje por refuerzo.
Esta estrategia puede mejorar la alineación multimodal a un costo de anotación relativamente barato, como $3000 por recopilar 10.000 preferencias humanas para debates basados en imágenes. Hasta donde saben, esta estrategia es el primer uso efectivo de RLHF para la alineación multimodal. Obtener altas calificaciones del modelo de recompensa solo a veces equivale a mejorar los juicios humanos, lo cual es piratear recompensas. Es un posible problema con el actual paradigma RLHF. Investigaciones anteriores sugirieron recopilar de forma iterativa comentarios humanos “nuevos” para detener el pirateo de incentivos, pero este método suele ser costoso y no puede utilizar adecuadamente los datos de preferencias humanas existentes. Este estudio sugiere una opción más eficiente en términos de datos, intentando hacer que el modelo de recompensa sea capaz de utilizar el conocimiento y los datos ya presentes en modelos de lenguaje más grandes que los humanos han anotado.
Figura 1: Un diagrama que ilustra la posibilidad de alucinaciones durante la fase de ajuste fino supervisado (SFT) del entrenamiento LMM y la forma en que el RLHF aumentado de hecho aborda el problema de la baja capacidad en el modelo de recompensa, que se inicializa a partir del modelo SFT.
En primer lugar, utilizan un codificador visual superior con resoluciones más altas y un modelo de lenguaje más grande para mejorar la funcionalidad general del modelo de recompensa. En segundo lugar, presentan el algoritmo RLHF Factually Augmented, que, como se muestra en la Fig. 1, calibra las señales de recompensa complementándolas con información adicional como descripciones de imágenes o una opción de opción múltiple de verdad fundamental. Aumentan aún más los datos de ajuste de instrucciones de visión sintética con datos multimodales existentes de alta calidad anotados por humanos en el formato de conversación para mejorar las capacidades generales de los LMM durante la etapa de ajuste fino supervisado. Transforman específicamente Flickr30k en una tarea de Spotting Captioning, VQA-v2 y A-OKVQA en una tarea de control de calidad de múltiples rondas, y ambos entrenan los modelos LLaVA-SFT+ utilizando el nuevo conjunto de datos.
Finalmente, consideran cómo evaluar la alineación multimodal de los LMM en situaciones de creación del mundo real, prestando especial atención a penalizar cualquier alucinación. Las preguntas de referencia que desarrollan, MMHAL-BENCH, cubren las 12 categorías de objetos clave de COCO y comprenden ocho tipos de trabajo. Según su análisis, este conjunto de datos de referencia coincide estrechamente con las evaluaciones humanas, especialmente si se consideran las puntuaciones de antialucinaciones. Como el primer LMM entrenado con RLHF, LLaVA-RLHF se desempeña admirablemente en su evaluación experimental. Vieron una mejora del 94 % en LLaVA-Bench, una mejora del 60 % en MMHAL-BENCH y establecieron nuevos récords de rendimiento para LLaVA con un 52,4 % en MMBench y un 82,7 % F1 en POPE. En GitHub, han hecho que su código, modelo y datos sean accesibles al público.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 31k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Aneesh Tickoo es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en Ciencia de Datos e Inteligencia Artificial en el Instituto Indio de Tecnología (IIT), Bhilai. Pasa la mayor parte de su tiempo trabajando en proyectos destinados a aprovechar el poder del aprendizaje automático. Su interés de investigación es el procesamiento de imágenes y le apasiona crear soluciones en torno a él. Le encanta conectarse con personas y colaborar en proyectos interesantes.