La capacidad de vincular el lenguaje a la visión es un aspecto fundamental de los sistemas de IA del mundo real; es útil en una variedad de tareas (p.ejrespuesta visual a preguntas) y aplicaciones (p.ej, generando descripciones para personas con discapacidad visual). Los modelos multimodales (preentrenados en pares imagen-lenguaje) tienen como objetivo abordar este problema fundamental. Una familia reciente de modelos, los transformadores multimodales (p. ej., Lu et al., 2019; Chen et al., 2020; Tan y Bansal, 2019; Li et al., 2020), han logrado un rendimiento de última generación en una variedad de puntos de referencia multimodales, lo que sugiere que la arquitectura del transformador de codificador conjunto es más adecuada para capturar la alineación entre pares de imagen-lenguaje que los enfoques anteriores (como los codificadores duales).
En particular, en comparación con la arquitectura de codificador dual donde no hay interferencias entre las modalidades, los transformadores multimodales (codificadores conjuntos) son más eficientes en el muestreo. En el siguiente gráfico, vemos que, cuando se prueba en la recuperación de imágenes de disparo cero, un transformador multimodal existente (UNITER) funciona de manera similar a un codificador dual a gran escala (CLIP) que se entrena con 100 veces más datos.
En este trabajo, examinamos qué aspectos de los transformadores multimodales (atención, pérdidas y datos de preentrenamiento) son importantes en su éxito en el preentrenamiento multimodal. Encontramos que la atención multimodal, donde tanto los transformadores del lenguaje como de la imagen se atienden entre sí, es crucial para el éxito de estos modelos. Los modelos con otros tipos de atención (incluso con más profundidad o parámetros) no logran resultados comparables a los modelos más pequeños y superficiales con atención multimodal. Además, se pueden lograr resultados comparables sin la pérdida de imagen (modelado de región enmascarada) propuesta originalmente para transformadores multimodales. Esto sugiere que nuestros modelos actuales no están aprovechando la señal útil en la modalidad de imagen, presumiblemente debido a la formulación de pérdida de imagen.
También estudiamos diferentes propiedades de los conjuntos de datos multimodales como su tamaño y el grado en que el lenguaje describe su imagen correspondiente (ruido). Encontramos que el tamaño de un conjunto de datos no siempre predice el rendimiento de los transformadores multimodales; su nivel de ruido y la similitud del lenguaje con la tarea de evaluación son factores contribuyentes importantes. Estos sugieren que es importante conservar conjuntos de datos de imágenes y texto menos ruidosos a pesar de la tendencia actual de recopilar conjuntos de datos ruidosos de la web.
En general, nuestro análisis muestra que los transformadores multimodales son más fuertes que la arquitectura de codificador dual (dada la misma cantidad de datos de preentrenamiento), principalmente debido a la interferencia a través de la atención multimodal. Sin embargo, todavía quedan muchos problemas abiertos al diseñar modelos multimodales, incluidas mejores pérdidas para la modalidad de imagen y robustez al ruido del conjunto de datos.