Uno de los principales paradigmas del aprendizaje automático es el aprendizaje de representaciones desde varias modalidades. El entrenamiento previo de imágenes amplias sobre datos multimodales sin etiquetar y luego el ajuste de etiquetas específicas de preguntas es una estrategia de aprendizaje común en la actualidad. Las actuales técnicas de preentrenamiento multimodal se derivan en su mayor parte de investigaciones anteriores sobre el aprendizaje de múltiples vistas, que aprovechan una premisa crucial de la redundancia de múltiples vistas: la característica de que la información intercambiada a través de las modalidades es casi completamente pertinente para las tareas que vienen después. Suponiendo que esto sea cierto, los enfoques que utilizan un entrenamiento previo contrastivo para capturar datos compartidos y luego ajustarlos para retener información compartida relevante para la tarea se han aplicado con éxito al aprendizaje a partir del habla y texto transcrito, imágenes y subtítulos, video y audio, instrucciones y acciones. .
Sin embargo, su estudio examina dos restricciones clave sobre el uso del aprendizaje contrastivo (CL) en contextos multimodales más extensos del mundo real:
1. Bajo intercambio de información relevante para la tarea Existen muchas tareas multimodales con poca información compartida, como aquellas entre dibujos animados y leyendas figurativas (es decir, descripciones de las imágenes que son metafóricas o idiomáticas en lugar de literales). En estas condiciones, a los CL multimodales tradicionales les resultará difícil adquirir la información relevante para la tarea requerida y solo aprenderán una pequeña parte de las representaciones enseñadas.
2. Datos muy distintivos pertinentes a las tareas: numerosas modalidades pueden ofrecer información distinta que no se encuentra en otras modalidades. La robótica que utiliza sensores de fuerza y la atención sanitaria con sensores médicos son dos ejemplos.
El CL estándar ignorará los detalles únicos relevantes para la tarea, lo que dará como resultado un rendimiento posterior deficiente. ¿Cómo pueden crear objetivos de aprendizaje multimodal apropiados más allá de la redundancia de múltiples vistas a la luz de estas limitaciones? En este artículo, investigadores de la Universidad Carnegie Mellon, la Universidad de Pensilvania y la Universidad de Stanford comienzan con los fundamentos de la teoría de la información y presentan un método llamado APRENDIZAJE CONTRASTIVO FACTORIZADO (FACTORCL) para aprender estas representaciones multimodales más allá de la redundancia de múltiples vistas. Define formalmente información compartida y única a través de declaraciones mutuas condicionales.
Primero, el concepto es factorizar explícitamente representaciones comunes y únicas. Para crear representaciones con la cantidad apropiada y necesaria de contenido de información, el segundo enfoque es maximizar los límites inferiores de MI para obtener información relevante para la tarea y minimizar los límites superiores de MI para extraer información irrelevante para la tarea. En última instancia, el uso de aumentos multimodales establece la relevancia de la tarea en el escenario autosupervisado sin etiquetado explícito. Utilizando una variedad de conjuntos de datos sintéticos y extensos puntos de referencia multimodales del mundo real que incluyen imágenes y lenguaje figurado, evalúan experimentalmente la eficacia de FACTORCL en la predicción de sentimientos, emociones, humor y sarcasmo humanos, así como la predicción de enfermedades y mortalidad de pacientes a partir de indicadores de salud y lecturas de sensores. En seis conjuntos de datos, logran un rendimiento de última generación.
A continuación se enumeran sus principales aportes tecnológicos:
1. Una investigación reciente sobre el rendimiento del aprendizaje contrastivo demuestra que, en escenarios de poca información compartida o alta información única, la CL multimodal típica no puede recopilar información única relevante para la tarea.
2. FACTORCL es un nuevo algoritmo de aprendizaje contrastivo:
(A) Para mejorar el aprendizaje contrastivo para manejar información poco compartida o alta única, FACTORCL factoriza la información relevante para la tarea en información compartida y única.
(B) FACTORCL optimiza la información única y compartida de forma independiente, produciendo representaciones óptimas relevantes para la tarea al capturar información relevante para la tarea a través de límites inferiores y eliminando información irrelevante para la tarea utilizando límites superiores de MI.
(C) Utilizando aumentos multimodales para estimar información relevante para la tarea, FACTORCL permite el aprendizaje autosupervisado a partir del FACTORCL que desarrollaron.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Aneesh Tickoo es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en Ciencia de Datos e Inteligencia Artificial en el Instituto Indio de Tecnología (IIT), Bhilai. Pasa la mayor parte de su tiempo trabajando en proyectos destinados a aprovechar el poder del aprendizaje automático. Su interés de investigación es el procesamiento de imágenes y le apasiona crear soluciones en torno a él. Le encanta conectarse con personas y colaborar en proyectos interesantes.