Los modelos de alineación de imagen-texto tienen como objetivo establecer una conexión significativa entre el contenido visual y la información textual, permitiendo aplicaciones como subtítulos, recuperación y comprensión de imágenes. A veces, combinar texto e imágenes al transmitir información puede ser una herramienta potente. Sin embargo, alinearlos correctamente puede ser un desafío. Los desalineamientos pueden generar confusión y malentendidos, por lo que es importante detectarlos. Investigadores de la Universidad de Tel Aviv, Google Research y la Universidad Hebrea de Jerusalén han desarrollado un nuevo enfoque para ver y explicar las desalineaciones entre las descripciones textuales y sus imágenes correspondientes.
Los modelos generativos de texto a imagen (T2I), que pasan de modelos de difusión y transformadores basados en GAN a transformadores visuales, enfrentan desafíos para capturar con precisión correspondencias T2I intrincadas. Si bien los modelos de visión y lenguaje como GPT han transformado varios dominios, enfatizan principalmente el texto, lo que limita su efectividad en las tareas de visión y lenguaje. Los avances en la combinación de componentes visuales con modelos de lenguaje tienen como objetivo mejorar la comprensión del contenido visual a través de descripciones textuales. La evaluación automática tradicional de T2I se basa en métricas como FID y Inception Score, por lo que necesita información de desalineación más detallada, una brecha que se soluciona con el método propuesto. Estudios recientes introducen una evaluación explicable de imagen y texto, generando pares de preguntas y respuestas y empleando la respuesta visual a preguntas (VQA) para analizar desalineaciones específicas.
El estudio presenta un método que predice y explica desalineaciones en los modelos generativos de imágenes y texto existentes. Construye un conjunto de entrenamiento, retroalimentación textual y visual, para entrenar un modelo de evaluación de alineación. El enfoque propuesto tiene como objetivo generar directamente explicaciones para las discrepancias entre imagen y texto sin depender de canales de respuesta a preguntas.
Los investigadores utilizaron modelos visuales y de lenguaje para crear un conjunto de entrenamiento para subtítulos desalineados, explicaciones correspondientes e indicadores visuales. Ajustaron los modelos de lenguaje de visión en este conjunto, lo que condujo a una mejor alineación de la imagen y el texto. También realizaron un estudio de ablación y hicieron referencia a estudios recientes que utilizan VQA en imágenes para generar pares de preguntas y respuestas a partir de texto, lo que proporciona información sobre desalineaciones específicas.
Los modelos de lenguaje de visión afinados, entrenados en el conjunto de datos de retroalimentación de TV del método propuesto, exhiben un rendimiento superior en tareas de generación de explicaciones y clasificación de alineación binaria. Estos modelos articulan e indican visualmente desalineaciones en pares texto-imagen de manera efectiva, proporcionando explicaciones textuales y visuales detalladas. Si bien los modelos PaLI superan a los modelos que no son PaLI en la clasificación de alineación binaria, los modelos PaLI más pequeños sobresalen en el conjunto de pruebas dentro de la distribución, pero se quedan atrás en los ejemplos fuera de la distribución. El método muestra una mejora sustancial en las tareas de retroalimentación textual, con planes en curso para mejorar la eficiencia de la multitarea en trabajos futuros.
En conclusión, las conclusiones clave del estudio se pueden resumir en algunos puntos:
- ConGen-Feedback es un método de generación de datos centrado en la retroalimentación que puede producir subtítulos contradictorios y las correspondientes explicaciones textuales y visuales de desalineaciones.
- La técnica se basa en modelos de lenguaje extenso y de base gráfica para construir un conjunto de entrenamiento completo con retroalimentación de TV, que luego se utiliza para facilitar modelos de entrenamiento que superan las líneas de base en tareas de generación de explicaciones y clasificación de alineación binaria.
- El método propuesto puede generar directamente explicaciones para las discrepancias entre imagen y texto, eliminando la necesidad de canales de respuesta a preguntas o desglosando la tarea de evaluación.
- La evaluación anotada por humanos desarrollada por SeeTRUE-Feedback mejora aún más la precisión y el rendimiento de los modelos entrenados con ConGen-Feedback.
- En general, ConGen-Feedback tiene el potencial de revolucionar el campo de la PNL y la visión por computadora al proporcionar un mecanismo eficaz y eficiente para generar explicaciones y datos centrados en la retroalimentación.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Hola, mi nombre es Adnan Hassan. Soy pasante de consultoría en Marktechpost y pronto seré aprendiz de gestión en American Express. Actualmente estoy cursando una doble titulación en el Instituto Indio de Tecnología, Kharagpur. Me apasiona la tecnología y quiero crear nuevos productos que marquen la diferencia.