Incluso los modelos fuertes de IA de ‘contexto largo’ fallan gravemente cuando deben rastrear objetos y contar a lo largo de largas y desordenadas secuencias de video, por lo que la próxima ventaja competitiva vendrá de modelos que predicen lo que viene después y recuerdan selectivamente sólo eventos sorprendentes e importantes, no simplemente comprando más computación y ventanas de contexto más grandes. Un equipo de investigadores de la Universidad de Nueva York y Stanford presenta Cambrian-S, una gran familia de modelos de lenguaje multimodal de video con conexión espacial, junto con el punto de referencia VSI Super y el conjunto de datos VSI 590K para probar y entrenar la superdetección espacial en videos largos.
De la respuesta a preguntas en vídeo a la superdetección espacial
El equipo de investigación enmarca la superdetección espacial como una progresión de capacidades más allá del razonamiento únicamente lingüístico. Las etapas son percepción semántica, cognición de eventos en tiempo real, cognición espacial 3D implícita y modelado mundial predictivo.
La mayoría de los MLLM de vídeo actuales muestran fotogramas dispersos y se basan en lenguajes previos. A menudo responden preguntas de referencia utilizando subtítulos o cuadros únicos en lugar de evidencia visual continua. Las pruebas de diagnóstico muestran que varios puntos de referencia de video populares se pueden resolver con entrada limitada o solo de texto, por lo que no prueban en profundidad la detección espacial.
Cambrian-S apunta a las etapas superiores de esta jerarquía, donde el modelo debe recordar diseños espaciales a lo largo del tiempo, razonar sobre las ubicaciones y recuentos de objetos y anticipar cambios en un mundo 3D.
VSI Super, una prueba de estrés para la detección espacial continua
Para exponer la brecha entre los sistemas actuales y la superdetección espacial, el equipo de investigación diseñó VSI Super, un punto de referencia de dos partes que se ejecuta en videos de interiores arbitrariamente largos.
VSI Super Recall, o VSR, evalúa la observación y recuperación espacial de horizontes largos. Los anotadores humanos toman videos de recorridos en interiores de ScanNet, ScanNet++ y ARKitScenes y usan Gemini para insertar un objeto inusual, como un oso de peluche, en cuatro fotogramas en diferentes ubicaciones espaciales. Estas secuencias editadas se concatenan en secuencias de hasta 240 minutos. El modelo debe informar el orden de las ubicaciones donde aparece el objeto, que es una aguja visual en una tarea de pajar con recuerdo secuencial.
VSI Super Count, o VSC, mide el conteo continuo en puntos de vista y habitaciones cambiantes. El punto de referencia concatena clips de recorridos por salas de VSI Bench y solicita el número total de instancias de un objeto de destino en todas las salas. El modelo debe manejar cambios de puntos de vista, revisitas y transiciones de escenas y mantener un recuento acumulativo. La evaluación utiliza una precisión relativa media para duraciones de 10 a 120 minutos.
Cuando se evalúa Cambrian-S 7B en VSI Super en una configuración de transmisión a 1 fotograma por segundo, la precisión en VSR cae del 38,3 por ciento a los 10 minutos al 6,0 por ciento a los 60 minutos y se vuelve cero después de los 60 minutos. La precisión del VSC es cercana a cero en todas las longitudes. Gemini 2.5 Flash también se degrada en VSI Super a pesar de una ventana de contexto larga, lo que muestra que el escalado de contexto de fuerza bruta no es suficiente para la detección espacial continua.
VSI 590K, datos de instrucción enfocados espacialmente
Para probar si el escalado de datos puede ayudar, el equipo de investigación construyó VSI 590K, un corpus de instrucción espacial con 5.963 videos, 44.858 imágenes y 590.667 pares de preguntas y respuestas de 10 fuentes.
Las fuentes incluyen escaneos interiores reales anotados en 3D como ScanNet, ScanNet++ V2, ARKitScenes, S3DIS y Aria Digital Twin, escenas simuladas de ProcTHOR e Hypersim y datos web pseudoanotados como YouTube RoomTour y conjuntos de datos de robots Open X Embodiment y AgiBot World.
El conjunto de datos define 12 tipos de preguntas espaciales, como recuento de objetos, distancia absoluta y relativa, tamaño de objetos, tamaño de habitación y orden de apariencia. Las preguntas se generan a partir de anotaciones o reconstrucciones 3D para que las relaciones espaciales se basen en la geometría en lugar de la heurística del texto. Las ablaciones muestran que los videos reales anotados aportan las mayores ganancias en VSI Bench, seguidos de los datos simulados y luego las imágenes pseudoanotadas y que el entrenamiento en la combinación completa brinda el mejor rendimiento espacial.
Familia de modelos Cambrian-S y rendimiento espacial
Cambrian-S se basa en Cambrian-1 y utiliza redes troncales del lenguaje Qwen2.5 en los parámetros 0.5B, 1.5B, 3B y 7B con un codificador de visión SigLIP2 SO400M y un conector MLP de dos capas.
La formación sigue un proceso de cuatro etapas. La etapa 1 realiza la alineación del lenguaje visual en pares de texto de imagen. La etapa 2 aplica el ajuste de instrucciones de imagen, equivalente a la configuración mejorada de Cambrian-1. La etapa 3 se extiende al video con instrucciones generales en video sintonizadas en una mezcla de 3 millones de muestras llamada Cambrian-S 3M. La etapa 4 realiza un ajuste de instrucciones de video espacial en una combinación de VSI 590K y un subconjunto de los datos de la etapa 3.
En VSI Bench, Cambrian-S 7B alcanza una precisión del 67,5 por ciento y supera a las líneas base de código abierto como InternVL3.5 8B y Qwen VL 2.5 7B, así como al Gemini 2.5 Pro patentado por más de 16 puntos absolutos. El modelo también mantiene un sólido rendimiento en Perception Test, EgoSchema y otros puntos de referencia de vídeo generales, por lo que el enfoque en la detección espacial no destruye las capacidades generales.
Detección predictiva con predicción de marco latente y sorpresa.
Para ir más allá de la expansión del contexto estático, el equipo de investigación propone sensores predictivos. Añaden un cabezal de predicción de fotogramas latentes, que es un MLP de dos capas que predice la representación latente del siguiente fotograma de vídeo en paralelo con la predicción del siguiente token.
El entrenamiento modifica la etapa 4. El modelo utiliza el error cuadrático medio y las pérdidas de distancia del coseno entre las características latentes predichas y reales, ponderadas contra la pérdida de modelado del lenguaje. Para este objetivo se reserva un subconjunto de 290.000 vídeos de VSI 590K, muestreados a 1 fotograma por segundo. Durante esta etapa, el conector, el modelo de lenguaje y ambos cabezales de salida se entrenan conjuntamente, mientras que el codificador de visión SigLIP permanece congelado.
En el momento de la inferencia, la distancia coseno entre las características predichas y reales se convierte en una puntuación sorpresa. Los fotogramas con poca sorpresa se comprimen antes de almacenarse en la memoria a largo plazo y los fotogramas con mucha sorpresa se retienen con más detalle. Un búfer de memoria de tamaño fijo utiliza la sorpresa para decidir qué fotogramas consolidar o eliminar y las consultas recuperan los fotogramas que son más relevantes para la pregunta.
Para VSR, este sistema de memoria impulsado por sorpresa permite a Cambrian-S mantener la precisión a medida que aumenta la duración del video mientras mantiene estable el uso de la memoria de la GPU. Supera a Gemini 1.5 Flash y Gemini 2.5 Flash en VSR en todas las duraciones probadas y evita la marcada degradación que se observa en modelos que solo amplían el contexto.
Para VSC, el equipo de investigación diseñó un esquema de segmentación de eventos impulsado por sorpresas. El modelo acumula características en un búfer de eventos y cuando un cuadro de sorpresa alta indica un cambio de escena, resume ese búfer en una respuesta a nivel de segmento y restablece el búfer. La suma de las respuestas del segmento da el recuento final. En la evaluación de transmisión, Gemini Live y GPT Realtime logran menos del 15 por ciento de precisión relativa media y caen cerca de cero en transmisiones de 120 minutos, mientras que Cambrian-S con segmentación sorpresa alcanza alrededor del 38 por ciento a los 10 minutos y mantiene alrededor del 28 por ciento a los 120 minutos.
Conclusiones clave
Cambrian-S y VSI 590K muestran que un diseño cuidadoso de datos espaciales y MLLM de video potentes pueden mejorar significativamente la cognición espacial en VSI Bench, pero aún fallan en VSI Super, por lo que la escala por sí sola no resuelve la superdetección espacial. VSI Super, a través de VSR y VSC, se construye intencionalmente a partir de videos interiores arbitrariamente largos para enfatizar la observación, el recuerdo y el conteo espacial continuo, lo que lo hace resistente a la expansión de la ventana de contexto de fuerza bruta y al muestreo de cuadros dispersos estándar. La evaluación comparativa muestra que los modelos de vanguardia, incluidos Gemini 2.5 Flash y Cambrian S, se degradan drásticamente en VSI Super incluso cuando las duraciones de los videos permanecen dentro de los límites de su contexto nominal, lo que revela una debilidad estructural en las arquitecturas multimodales de contexto largo actuales. El módulo de detección predictiva basado en la predicción de fotogramas latentes utiliza el siguiente error de predicción de fotogramas latentes, o sorpresa, para impulsar la compresión de la memoria y la segmentación de eventos, lo que genera ganancias sustanciales en VSI Super en comparación con las líneas base de contexto largas y, al mismo tiempo, mantiene estable el uso de la memoria de la GPU. El trabajo de investigación posiciona la superdetección espacial como una jerarquía desde la percepción semántica hasta el modelado predictivo del mundo y sostiene que los futuros MLLM de video deben incorporar objetivos predictivos explícitos y memoria impulsada por sorpresas, no solo modelos y conjuntos de datos más grandes, para manejar la transmisión ilimitada de video en aplicaciones reales.
Cambrian-S es una prueba de estrés útil para los MLLM de video actuales porque muestra que VSI SUPER no es solo un punto de referencia más difícil, sino que expone una falla estructural de arquitecturas de contexto prolongado que aún dependen de la percepción reactiva. El módulo de detección predictiva, basado en la predicción de cuadros latentes y la memoria impulsada por sorpresas, es un paso importante porque combina la detección espacial con el modelado del mundo interno en lugar de limitarse a escalar datos y parámetros. Esta investigación señala un cambio de la comprensión pasiva del vídeo a la superdetección espacial predictiva como el próximo objetivo de diseño de los modelos multimodales.
Consulte el documento. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.