Los modelos de lenguaje omnimodal (OLM) son un área de la IA que avanza rápidamente y que permite la comprensión y el razonamiento a través de múltiples tipos de datos, incluidos texto, audio, video e imágenes. Estos modelos tienen como objetivo simular la comprensión humana procesando diversas entradas simultáneamente, lo que los hace muy útiles en aplicaciones complejas del mundo real. La investigación en este campo busca crear sistemas de inteligencia artificial que puedan integrar perfectamente estos diversos tipos de datos y generar respuestas precisas en diferentes tareas. Esto representa un salto adelante en la forma en que los sistemas de IA interactúan con el mundo, alineándolos más con la comunicación humana, donde la información rara vez se limita a una modalidad.
Un desafío persistente en el desarrollo de OLM es su desempeño inconsistente cuando se enfrentan a entradas multimodales. Por ejemplo, es posible que un modelo necesite analizar datos que incluyen texto, imágenes y audio para completar una tarea en situaciones del mundo real. Sin embargo, muchos modelos actuales necesitan ayuda para combinar eficazmente estos insumos. El problema principal radica en la incapacidad de estos sistemas para razonar plenamente entre modalidades, lo que genera discrepancias en sus resultados. En muchos casos, los modelos producen respuestas diferentes cuando se les presenta la misma información en varios formatos, como un problema matemático mostrado como una imagen o expresado en voz alta como audio.
Los puntos de referencia existentes para OLM a menudo se limitan a combinaciones simples de dos modalidades, como texto e imágenes o vídeo y texto. Estas evaluaciones deben evaluar toda la gama de capacidades requeridas para aplicaciones del mundo real, que a menudo involucran escenarios más complejos. Por ejemplo, muchos modelos actuales funcionan bien cuando se manejan tareas de modalidad dual. Aún así, deben mejorar significativamente cuando se les pide que razonen sobre combinaciones de tres o más modalidades, como la integración de video, texto y audio para llegar a una solución. Esta limitación crea una brecha en la evaluación de qué tan bien estos modelos realmente entienden y razonan en múltiples tipos de datos.
Investigadores de Google DeepMind, Google y la Universidad de Maryland desarrollaron Omni×Run nuevo marco de evaluación diseñado para probar rigurosamente las capacidades de razonamiento de los OLM. Este marco se distingue por introducir desafíos multimodales más complejos. Omni×R evalúa modelos utilizando escenarios en los que deben integrar múltiples formas de datos, como responder preguntas que requieren razonamiento a través de texto, imágenes y audio simultáneamente. El marco incluye dos conjuntos de datos:
- Omni×R sintetizador es un conjunto de datos sintético creado mediante la conversión automática de texto a otras modalidades.
- Omni×Rreal es un conjunto de datos del mundo real cuidadosamente seleccionado de fuentes como YouTube.
Estos conjuntos de datos proporcionan un entorno de prueba más completo y desafiante que los puntos de referencia anteriores.
Omni×Rsynth, el componente sintético del marco, está diseñado para llevar los modelos al límite al convertir texto en imágenes, video y audio. Por ejemplo, el equipo de investigación desarrolló Omnify!, una herramienta para traducir texto en múltiples modalidades, creando un conjunto de datos de 1400 muestras distribuidas en seis categorías, que incluyen matemáticas, física, química e informática. Cada categoría incluye 100 ejemplos para las seis modalidades: texto, imagen, video, audio, video+audio e imagen+audio, modelos desafiantes para manejar combinaciones de entrada complejas. Los investigadores utilizaron este conjunto de datos para probar varios OLM, incluidos Gemini 1.5 Pro y GPT-4o. Los resultados de estas pruebas revelaron que los modelos actuales experimentan caídas significativas en el rendimiento cuando se les pide que integren información de diferentes modalidades.
Omni×Rreal, el conjunto de datos del mundo real, incluye 100 vídeos que cubren temas como matemáticas y ciencias, donde las preguntas se presentan en diferentes modalidades. Por ejemplo, un video puede mostrar visualmente un problema matemático mientras las opciones de respuesta se dicen en voz alta, lo que requiere que el modelo integre información visual y auditiva para resolver el problema. Los escenarios del mundo real resaltaron aún más las dificultades de los modelos para razonar entre modalidades, ya que los resultados mostraron inconsistencias similares a las observadas en el conjunto de datos sintéticos. En particular, los modelos que funcionaron bien con la entrada de texto experimentaron una fuerte disminución en la precisión cuando se les asignó entradas de video o audio.
El equipo de investigación llevó a cabo extensos experimentos y encontró varias ideas clave. Por ejemplo, el modelo Gemini 1.5 Pro tuvo un buen desempeño en la mayoría de las modalidades, con una precisión de razonamiento de texto del 77,5%. Sin embargo, su rendimiento cayó al 57,3% en vídeo y al 36,3% en entradas de imágenes. Por el contrario, GPT-4o demostró mejores resultados en el manejo de tareas de texto e imágenes, pero tuvo problemas con el video, mostrando una caída de rendimiento del 20 % cuando se le asignó la tarea de integrar datos de texto y video. Estos subrayan los desafíos de lograr un rendimiento consistente en múltiples modalidades, un paso crucial hacia el avance de las capacidades OLM.
Los resultados del benchmark Omni×R revelaron varias tendencias notables en diferentes OLM. Una de las observaciones más críticas fue que incluso los modelos más avanzados, como Gemini y GPT-4o, variaban significativamente sus capacidades de razonamiento entre modalidades. Por ejemplo, el modelo Gemini logró una precisión del 65% al procesar audio, pero su rendimiento cayó al 25,9% al combinar datos de video y audio. De manera similar, el modelo GPT-4o-mini, a pesar de sobresalir en tareas basadas en texto, tuvo problemas con el video, mostrando una brecha de rendimiento del 41% en comparación con las tareas basadas en texto. Estas discrepancias resaltan la necesidad de más investigación y desarrollo para cerrar la brecha en las capacidades de razonamiento intermodal.
Los hallazgos del benchmark Omni×R apuntan a varias conclusiones clave que subrayan las limitaciones actuales y las direcciones futuras de la investigación OLM:
- Modelos como Gemini y GPT-4o funcionan bien con texto pero tienen dificultades con el razonamiento multimodal.
- Existe una brecha de rendimiento significativa entre el manejo de entradas basadas en texto y tareas multimodales complejas, especialmente cuando se trata de video o audio.
- Los modelos más grandes generalmente funcionan mejor en todas las modalidades, pero los modelos más pequeños a veces pueden superarlos en tareas específicas, lo que muestra una compensación entre el tamaño del modelo y la flexibilidad.
- El conjunto de datos sintéticos (Omni×Rsynth) simula con precisión los desafíos del mundo real, lo que lo convierte en una herramienta valiosa para el desarrollo futuro de modelos.
En conclusión, el marco Omni×R presentado por el equipo de investigación ofrece un paso crítico hacia la evaluación y mejora de las capacidades de razonamiento de los OLM. Al probar rigurosamente modelos en diversas modalidades, el estudio reveló importantes desafíos que deben abordarse para desarrollar sistemas de inteligencia artificial capaces de realizar un razonamiento multimodal similar al humano. Las caídas de rendimiento observadas en tareas que involucran integración de video y audio resaltan las complejidades del razonamiento intermodal y señalan la necesidad de técnicas y modelos de capacitación más avanzados para manejar las complejidades de los datos multimodales del mundo real.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml.
[Upcoming Live Webinar- Oct 29, 2024] La mejor plataforma para ofrecer modelos optimizados: motor de inferencia Predibase (promocionado)
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.