Los investigadores de Google abordan los desafíos de lograr una comprensión integral de diversos contenidos de video mediante la introducción de un novedoso modelo de codificador, VideoPrism. Los modelos existentes en comprensión de vídeo han tenido problemas con diversas tareas con sistemas complejos y razonamiento centrado en el movimiento y han demostrado un rendimiento deficiente en diferentes puntos de referencia. Los investigadores se propusieron desarrollar un codificador de vídeo de uso general que pueda abordar eficazmente una amplia gama de tareas de comprensión de vídeo con una adaptación mínima.
Los modelos de comprensión de vídeo existentes han logrado avances significativos, pero aún no los han logrado. Algunos modelos aprovechan el texto asociado con videos para el aprendizaje, y otros se enfocan únicamente en señales de video, lo que limita la captura efectiva tanto de señales de apariencia como de movimiento. VideoPrism propone un enfoque que integra modalidades de video y texto durante el entrenamiento previo. Introduce un marco de preentrenamiento de dos etapas que combina el aprendizaje contrastivo con el modelado de video enmascarado. Este método permite que el modelo aprenda representaciones semánticas tanto de pares de video-texto como de datos de solo video.
La arquitectura de VideoPrism se basa en Vision Transformer (ViT) con modificaciones para la factorización del espacio-tiempo. Durante el entrenamiento previo, el modelo primero alinea las incrustaciones de video y texto a través del aprendizaje contrastivo y luego continúa entrenando con datos de solo video usando modelado de video enmascarado. Este enfoque de dos etapas se complementa con técnicas de destilación global-local y mezcla de tokens para mejorar el rendimiento del modelo. Evaluaciones exhaustivas de diversas tareas de comprensión de vídeo demuestran que VideoPrism logra un rendimiento de última generación en 30 de 33 puntos de referencia, lo que demuestra su sólida generalización y eficacia a la hora de capturar señales de apariencia y movimiento.
Los investigadores de Google abordan el desafío de construir un modelo de video fundamental con su modelo de última generación VideoPrism para una comprensión integral del video. El método propuesto combina el aprendizaje contrastivo con el modelado de video enmascarado en un marco de preentrenamiento de dos etapas, lo que da como resultado un modelo que sobresale en una amplia gama de tareas de comprensión de video.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y noticias de Google. Unirse nuestro SubReddit de 38k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
También te puede gustar nuestro Cursos GRATUITOS de IA….
Pragati Jhunjhunwala es pasante de consultoría en MarktechPost. Actualmente está cursando su B.Tech en el Instituto Indio de Tecnología (IIT), Kharagpur. Es una entusiasta de la tecnología y tiene un gran interés en el alcance del software y las aplicaciones de ciencia de datos. Siempre está leyendo sobre los avances en diferentes campos de la IA y el ML.