En el aprendizaje multimodal supervisado, los datos de varias modalidades se asignan a una etiqueta de destino utilizando información sobre los límites entre las modalidades. Diferentes campos se han interesado por este tema: vehículos autónomos, sanidad, robots y muchos más. Aunque el aprendizaje multimodal es un paradigma fundamental en el aprendizaje automático, su eficacia difiere según la tarea en cuestión. En algunas situaciones, un alumno multimodal se desempeña mejor que un alumno unimodal. Aún así, en otros casos, puede que no sea mejor que un único alumno unimodal o una combinación de sólo dos. Estos hallazgos contradictorios resaltan la necesidad de un marco rector para aclarar las razones detrás de las brechas de desempeño entre los modelos multimodales y establecer un procedimiento estándar para desarrollar modelos que utilicen mejor los datos multimodales.
Investigadores de la Universidad de Nueva York, Genentech y CIFAR se están embarcando en un viaje innovador para resolver estas inconsistencias. Están introduciendo un enfoque novedoso y más basado en principios para el aprendizaje multimodal, uno que nunca antes se ha explorado, y están identificando las variables subyacentes que los causan. Utilizando una perspectiva probabilística única, proponen un mecanismo que genera datos y examina el problema de aprendizaje multimodal supervisado.
Dado que esta variable de selección produce la interdependencia entre las modalidades y la etiqueta, siempre se establece en uno. La eficacia de este mecanismo de selección difiere entre los conjuntos de datos. Las dependencias entre modalidades y etiquetas, conocidas como dependencias intermodales, se amplifican en casos de fuertes efectos de selección. Por el contrario, cuando el impacto de la selección es modesto, las dependencias intramodalidad (dependencias entre las modalidades individuales y la etiqueta) se vuelven cada vez más importantes.
El paradigma propuesto supone que las etiquetas son la fuente principal de datos específicos de modalidades. Además, especifica la conexión entre la etiqueta, el proceso de selección y las distintas modalidades. De un caso de uso a otro, varía la cantidad en la que el resultado depende de datos de diferentes modalidades y las relaciones entre ellas. Un sistema multimodal tiene que simular las dependencias inter e intramodalidad porque es importante saber qué tan fuertes son estas dependencias con respecto al objetivo final. El equipo logró esto desarrollando y fusionando clasificadores para cada modalidad para capturar las dependencias dentro de cada modalidad y un clasificador para capturar las dependencias entre la etiqueta de salida y las interacciones entre diferentes modos.
El método I2M2 se deriva del modelo generativo multimodal, un enfoque ampliamente utilizado en el aprendizaje multimodal. Sin embargo, la investigación previa sobre el aprendizaje multimodal se puede dividir en dos grupos utilizando el marco sugerido. Los métodos de modelado intermodal, que se agrupan en el primer grupo, dependen en gran medida de la detección de relaciones intermodales para predecir el objetivo. A pesar de su capacidad teórica para captar conexiones entre y dentro de las modalidades, a menudo fracasan en la práctica debido a suposiciones no cumplidas sobre el modelo multimodal de generación de aprendizaje. Los métodos utilizados en el modelado intramodalidad, que pertenecen al segundo grupo, se basan únicamente en etiquetas para las interacciones entre modalidades, lo que limita su eficacia.
En contradicción con el objetivo del aprendizaje multimodal, estos métodos no logran captar la interdependencia de las modalidades de predicción. Al predecir la etiqueta, los métodos intermodales funcionan bien cuando las modalidades intercambian información sustancial, pero los métodos intramodalidad funcionan bien cuando la información entre modalidades es escasa o inexistente.
Como no es necesario saber de antemano qué tan fuertes son estas dependencias, la arquitectura I2M2 sugerida supera este inconveniente. Debido a que describe explícitamente la interdependencia entre y dentro de las modalidades, puede adaptarse a diferentes contextos y seguir siendo eficaz. Los resultados demuestran que I2M2 no solo es superior, sino que cambia las reglas del juego, tanto para los enfoques intramodalidad como intermodalidad al validar las afirmaciones de los investigadores sobre varios conjuntos de datos. El diagnóstico automático mediante resonancias magnéticas de rodilla y la mortalidad y la predicción del código ICD-9 en el conjunto de datos MIMIC-III son dos ejemplos de los muchos trabajos de atención médica a los que se aplica esta tecnología. Los hallazgos sobre tareas de visión y lenguaje como NLVR2 y VQA demuestran aún más el potencial transformador de I2M2.
Las dependencias difieren en intensidad entre conjuntos de datos, como indica nuestra evaluación integral; el conjunto de datos fastMRI se beneficia más de las dependencias intramodalidad, mientras que el conjunto de datos NLVR2 encuentra más relevancia en las dependencias intermodalidad. Los conjuntos de datos AV-MNIST, MIMIC-III y VQA se ven afectados por ambas dependencias. I2M2 tiene éxito en todos los aspectos, garantizando un rendimiento sólido independientemente de la importancia relativa de sus dependencias. Esta investigación exhaustiva y sus sólidos hallazgos infunden confianza en la eficacia de I2M2.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.
Únete a nuestro Canal de telegramas y LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 44k+ ML
Dhanshree Shenwai es ingeniero en informática y tiene una buena experiencia en empresas de tecnología financiera que cubren el ámbito financiero, tarjetas y pagos y banca con un gran interés en las aplicaciones de IA. Le entusiasma explorar nuevas tecnologías y avances en el mundo en evolución de hoy que facilita la vida de todos.