En todo el mundo, las personas crean innumerables videos diariamente, incluidas transmisiones en vivo generadas por usuarios, transmisiones en vivo de videojuegos, clips cortos, películas, transmisiones deportivas y publicidad. Como medio versátil, los videos transmiten información y contenido a través de diversas modalidades, como texto, imágenes y audio. Desarrollar métodos capaces de aprender de estas diversas modalidades es crucial para diseñar máquinas cognitivas con capacidades mejoradas para analizar videos no seleccionados del mundo real, trascendiendo las limitaciones de los conjuntos de datos seleccionados manualmente.
Sin embargo, la riqueza de esta representación introduce numerosos desafíos para explorar la comprensión del vídeo, particularmente cuando se trata de vídeos de larga duración. Captar los matices de los vídeos largos, especialmente los que superan una hora, requiere métodos sofisticados para analizar imágenes y secuencias de audio en múltiples episodios. Esta complejidad aumenta con la necesidad de extraer información de diversas fuentes, distinguir a los hablantes, identificar personajes y mantener la coherencia narrativa. Además, responder preguntas basadas en evidencia en video exige una comprensión profunda del contenido, el contexto y los subtítulos.
En la transmisión en vivo y los videos de juegos, surgen desafíos adicionales en el procesamiento de entornos dinámicos en tiempo real, lo que requiere comprensión semántica y la capacidad de participar en una planificación estratégica a largo plazo.
En los últimos tiempos, se han logrado avances considerables en grandes modelos de lenguaje de video previamente entrenados, lo que demuestra sus capacidades de razonamiento competentes para contenido de video. Sin embargo, estos modelos suelen entrenarse en clips concisos (por ejemplo, vídeos de 10 segundos) o clases de acción predefinidas. En consecuencia, estos modelos pueden encontrar limitaciones a la hora de proporcionar una comprensión matizada de vídeos complejos del mundo real.
La complejidad de comprender vídeos del mundo real implica identificar a las personas en la escena y discernir sus acciones. Además, es necesario identificar estas acciones, especificando cuándo y cómo ocurren. Además, es necesario reconocer matices sutiles y señales visuales en diferentes escenas. El objetivo principal de este trabajo es enfrentar estos desafíos y explorar metodologías directamente aplicables a la comprensión del video en el mundo real. El enfoque implica deconstruir contenido de video extendido en narrativas coherentes, empleando posteriormente estas historias generadas para el análisis de video.
Los avances recientes en los modelos multimodales grandes (LMM), como GPT-4V (ision), han marcado avances significativos en el procesamiento tanto de imágenes de entrada como de texto para la comprensión multimodal. Esto ha estimulado el interés en ampliar la aplicación de los LMM al dominio del vídeo. El estudio presentado en este artículo presenta MM-VID, un sistema que integra herramientas especializadas con GPT-4V para la comprensión de videos. La descripción general del sistema se ilustra en la siguiente figura.
Al recibir un vídeo de entrada, MM-VID inicia un preprocesamiento multimodal, que abarca la detección de escenas y el reconocimiento automático de voz (ASR), para recopilar información crucial del vídeo. Posteriormente, el vídeo de entrada se segmenta en múltiples clips según el algoritmo de detección de escenas. Luego se emplea GPT-4V, utilizando cuadros de video a nivel de clip como entrada para generar descripciones detalladas para cada clip de video. Finalmente, GPT-4 produce un guión coherente para todo el vídeo, condicionado a las descripciones del vídeo a nivel de clip, ASR y metadatos de vídeo disponibles. El script generado permite a MM-VID ejecutar una amplia gama de tareas de vídeo.
A continuación se presentan algunos ejemplos tomados del estudio.
Este fue el resumen de MM-VID, un novedoso sistema de inteligencia artificial que integra herramientas especializadas con GPT-4V para la comprensión de videos. Si está interesado y desea obtener más información al respecto, no dude en consultar los enlaces que se citan a continuación.
Revisar la Papel y Página del proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
también estamos en Telegrama y WhatsApp.
Daniele Lorenzi recibió su M.Sc. en TIC para Ingeniería de Internet y Multimedia en 2021 de la Universidad de Padua, Italia. Es un doctorado. Candidato en el Instituto de Tecnología de la Información (ITEC) de la Alpen-Adria-Universität (AAU) de Klagenfurt. Actualmente trabaja en el Laboratorio Christian Doppler ATHENA y sus intereses de investigación incluyen transmisión de video adaptativa, medios inmersivos, aprendizaje automático y evaluación de QoS/QoE.