Meta AI lanza Apollo: una nueva familia de grandes modelos multimodales de vídeo-LMM para la comprensión del vídeo

Si bien los modelos multimodales (LMM) han avanzado significativamente para tareas de texto e imágenes, los modelos basados ​​en video siguen estando subdesarrollados. Los vídeos son intrínsecamente complejos y combinan dimensiones espaciales y temporales que exigen más recursos computacionales. Los métodos existentes a menudo adaptan enfoques basados ​​en imágenes directamente o se basan en un muestreo de fotogramas uniforme, que captura mal los patrones temporales y de movimiento. Además, entrenar modelos de vídeo a gran escala es costoso desde el punto de vista computacional, lo que dificulta la exploración eficiente de opciones de diseño.

Para abordar estos problemas, investigadores de Meta AI y Stanford desarrollaron Apolouna familia de LMM centrados en video diseñados para ampliar los límites de la comprensión del video. Apollo aborda estos desafíos a través de decisiones de diseño bien pensadas, mejorando la eficiencia y estableciendo un nuevo punto de referencia para tareas como el razonamiento temporal y la respuesta a preguntas basadas en videos.

Meta AI presenta Apollo: una familia de LMM de vídeo escalables

Meta IA Apolo Los modelos están diseñados para procesar vídeos de hasta una hora de duración y, al mismo tiempo, lograr un rendimiento sólido en tareas clave del lenguaje de vídeo. Apollo viene en tres tamaños: 1,5 mil millones, 3By Parámetros 7B – ofrecer flexibilidad para adaptarse a diversas limitaciones computacionales y necesidades del mundo real.

Las innovaciones clave incluyen:

• Consistencia de escala: Se ha demostrado que las elecciones de diseño realizadas en modelos más pequeños se transfieren eficazmente a modelos más grandes, lo que reduce la necesidad de experimentos a gran escala.
• Muestreo de fotogramas por segundo (fps): una técnica de muestreo de vídeo más eficiente en comparación con el muestreo de fotogramas uniforme, lo que garantiza una mejor coherencia temporal.
• Codificadores de doble visión: La combinación de SigLIP para la comprensión espacial con InternVideo2 para el razonamiento temporal permite una representación equilibrada de los datos de vídeo.
• ApoloBanco: un conjunto de pruebas comparativas seleccionadas que reduce la redundancia en la evaluación y al mismo tiempo proporciona información detallada sobre el rendimiento del modelo.

Aspectos destacados y ventajas técnicas

Los modelos Apollo se basan en una serie de opciones de diseño bien investigadas destinadas a superar los desafíos de los LMM basados ​​en video:

1. Muestreo de cuadros por segundo: A diferencia del muestreo de cuadros uniforme, el muestreo de fps mantiene un flujo temporal constante, lo que permite a Apollo comprender mejor el movimiento, la velocidad y la secuencia de eventos en los videos.
2. Consistencia de escala: Los experimentos muestran que las elecciones de diseño de modelos realizadas en modelos de tamaño moderado (parámetros 2B-4B) se generalizan bien a modelos más grandes. Este enfoque reduce los costos computacionales al tiempo que mantiene las ganancias de rendimiento.
3. Codificadores de doble visión: Apollo utiliza dos codificadores complementarios: SigLIP, que destaca en la comprensión espacial, e InternVideo2, que mejora el razonamiento temporal. Sus puntos fuertes combinados producen representaciones de vídeo más precisas.
4. Remuestreo de tokens: Al utilizar un Perceiver Resampler, Apollo reduce eficientemente los tokens de video sin perder información. Esto permite a los modelos procesar vídeos largos sin una sobrecarga computacional excesiva.
5. Entrenamiento optimizado: Apollo emplea un proceso de capacitación de tres etapas en el que los codificadores de video se ajustan inicialmente a los datos de video antes de integrarlos con conjuntos de datos de texto e imágenes. Este enfoque por etapas garantiza un aprendizaje estable y eficaz.
6. Conversaciones de varios turnos: Los modelos Apollo pueden admitir conversaciones interactivas de varios turnos basadas en contenido de video, lo que los hace ideales para aplicaciones como sistemas de chat basados ​​en video o análisis de contenido.

Información sobre el rendimiento

Las capacidades de Apollo se validan a través de resultados sólidos en múltiples puntos de referencia, que a menudo superan a los modelos más grandes:

1. Apolo-1.5B:
   • Supera modelos como Phi-3.5-Vision (4.2B) y LongVA-7B.
   • Montones: 60,8 en Video-MME, 63.3 en MLVU, 57.0 en ApolloBench.
2. Apolo-3B:
   • Compite y supera a muchos modelos 7B.
   • Montones: 58,4 en Video-MME, 68,7 en MLVU, 62,7 en ApolloBench.
   • Logra 55.1 en LongVideoBench.
3. Apolo-7B:
   • Iguala e incluso supera modelos con más de 30B de parámetros, como Oryx-34B y VILA1.5-40B.
   • Montones: 61.2 en Video-MME, 70,9 en MLVU, 66,3 en ApolloBench.

Resumen de referencia:

Conclusión

Apollo marca un importante paso adelante en el desarrollo de vídeo-LMM. Al abordar desafíos clave como el muestreo de video eficiente y la escalabilidad del modelo, Apollo proporciona una solución práctica y poderosa para comprender el contenido de video. Su capacidad para superar a los modelos más grandes resalta la importancia de un diseño y estrategias de capacitación bien investigados.

La familia Apollo ofrece soluciones prácticas para aplicaciones del mundo real, desde respuesta a preguntas basadas en vídeo hasta análisis de contenido y sistemas interactivos. Es importante destacar que la introducción de Meta AI de ApoloBanco proporciona un punto de referencia más ágil y eficaz para evaluar los LMM de vídeo, allanando el camino para futuras investigaciones.

Verificar el Papel, Sitio web, Manifestación, Código, y Modelos. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.

🚨 Tendencias: LG AI Research lanza EXAONE 3.5: tres modelos bilingües de código abierto a nivel de inteligencia artificial de frontera que brindan un seguimiento de instrucciones incomparable y una amplia comprensión del contexto para el liderazgo global en la excelencia en inteligencia artificial generativa….

Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.