Los modelos de lenguaje grande multimodal (MLLM) han mostrado un gran progreso como asistentes de IA versátiles capaces de manejar diversas tareas visuales. Sin embargo, su despliegue como entidades digitales aisladas limita su impacto potencial. La creciente demanda de integrar MLLM en aplicaciones del mundo real como robótica y vehículos autónomos requiere una comprensión espacial compleja. Los MLLM actuales muestran deficiencias fundamentales de razonamiento espacial, a menudo fallando en tareas básicas, como distinguir a la izquierda de la derecha. Si bien la investigación previa atribuye estas limitaciones a datos de capacitación especializados insuficientes y los resuelve a través de la incorporación de datos espaciales durante la capacitación, estos enfoques se centran en escenarios de imagen única, lo que restringe la percepción del modelo al análisis estático del campo de visión sin información dinámica.
Varios métodos de investigación han tratado de abordar las limitaciones de comprensión espacial en los MLLM. Los MLLM incorporan codificadores de imagen que convierten las entradas visuales en tokens procesados junto con el texto en el espacio latente del modelo de lenguaje. Investigaciones anteriores se han centrado en la comprensión espacial de una imagen única, la evaluación de las relaciones espaciales entre objetos o el reconocimiento espacial. Algunos puntos de referencia como Blink, Uniqa-3D y Vsibench se extienden más allá de las imágenes individuales. Las mejoras existentes de los MLLM para la comprensión espacial incluyen SpatialVLM, que ajustan los modelos en conjuntos de datos espaciales curados, espacialRGPT, que incorpora referencias basadas en máscaras e imágenes de profundidad, y SpacialPin, que utiliza modelos de percepción especializados sin ajuste fino.
Investigadores de Fair Meta y la Universidad China de Hong Kong han propuesto un marco para mejorar los MLLM con una robusta comprensión espacial multi-marco. Esto integra tres componentes: percepción de profundidad, correspondencia visual y percepción dinámica para superar las limitaciones del análisis de imagen única estática. Los investigadores desarrollan multiespA, un nuevo conjunto de datos a gran escala que contiene más de 27 millones de muestras que abarcan diversas escenas 3D y 4D. El modelo de múltiples spacialmllM resultante logra mejoras significativas sobre las líneas de base y los sistemas patentados, con un razonamiento multi-marco escalable y generalizable. Además, se introducen cinco tareas para generar datos de entrenamiento: percepción de profundidad, correspondencia visual, percepción del movimiento de la cámara, percepción del movimiento del objeto y percepción del tamaño del objeto.
El Multi-SpacialMLLM se centra en la tubería de generación de datos MultiSPA y el sistema integral de referencia. El formato de datos sigue las estrategias estándar de ajuste fino MLLM, que tienen el formato de pares de QA: usuario:
En el punto de referencia multiespA, el Multi-SpatialMLLM logra una ganancia promedio de 36% sobre los modelos base, alcanzando la precisión del 80-90% en las tareas cualitativas en comparación con el 50% para los modelos de referencia al tiempo que supera todos los sistemas propietarios. Incluso en tareas desafiantes como predecir los vectores de movimiento de la cámara, alcanza el 18% de precisión versus rendimiento casi cero de otras líneas de base. En el punto de referencia de parpadeo, Multi-SpatialMLLM logra una precisión de casi el 90% con una mejora promedio de 26.4% sobre los modelos base, superando varios sistemas patentados y mostrando una comprensión espacial múltiple transferible. Las evaluaciones de referencia VQA estándar muestran una paridad aproximada con el rendimiento original, lo que indica que el modelo mantiene el dominio de MLLM de uso general sin un enderezado a las tareas de razonamiento espacial.
En este documento, los investigadores extienden la comprensión espacial de MLLMS a escenarios de múltiples cuadros, abordando una brecha crítica que se pasa por alto en investigaciones anteriores. Introdujeron MultisPA, el primer conjunto de datos a gran escala y un punto de referencia para tareas de razonamiento espacial multi marco. La validación experimental muestra la efectividad, la escalabilidad y las fuertes capacidades de generalización de los múltiples spaciales propuestos en diversos desafíos de comprensión espacial. La investigación revela ideas significativas, incluidos los beneficios de aprendizaje de varias tareas y los comportamientos emergentes en el razonamiento espacial complejo. El modelo establece nuevas aplicaciones, incluida la actuación como un anotador de recompensas de múltiples cuadros.
Mira el Papel, Página del proyecto y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit y suscribirse a Nuestro boletín.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.