Los modelos multimodales de lenguaje grande (MLLMS) han avanzado la integración de las modalidades visuales y textuales, permitiendo el progreso en tareas como el subtítulos de imágenes, la respuesta de preguntas visuales e interpretación de documentos. Sin embargo, la replicación y el desarrollo adicional de estos modelos a menudo se ven obstaculizados por la falta de transparencia. Muchos MLLM de vanguardia no liberan componentes clave, incluidos el código de entrenamiento, las metodologías de curación de datos y los conjuntos de datos de prisión previa. Además, los recursos computacionales sustanciales necesarios para capacitar a estos modelos plantean una barrera significativa, particularmente para los investigadores académicos con infraestructura limitada. Esta falta de accesibilidad impide la reproducibilidad y ralentiza la difusión de nuevas técnicas dentro de la comunidad de investigación.
Investigadores de UC Santa Bárbara, Bytedance y Nvidia introducen Open-Qwen2vl, un parámetro de 2 billones de parámetros multimodal Modelo de lenguaje grande Eso se ha entrenado previamente en 29 millones de pares de texto de imagen utilizando aproximadamente 220 horas de GPU A100-40G. Desarrollado en colaboración por investigadores de UC Santa Bárbara, Bytedance e Nvidia Research, Open-Qwen2vl está diseñado para abordar la reproducibilidad y las restricciones de recursos en la investigación de MLLM. El proyecto proporciona un conjunto completo de recursos de código abierto, incluida la base de código de capacitación, los scripts de filtrado de datos, los datos previos al prisión formatados en WebDataSet y los puntos de control del modelo base y sintonizados con instrucciones. Esta versión integral tiene como objetivo apoyar la experimentación transparente y el desarrollo de métodos en el dominio de aprendizaje multimodal.
Open-Qwen2VL se basa en el esqueleto QWEN2.5-1.5B-Instructo LLM, junto con un codificador de visión Siglip-So-400m. Un proyector visual adaptativo promedio reduce el número de tokens visuales de 729 a 144 durante el pretratenamiento, lo que mejora la eficiencia computacional. El recuento de tokens se aumenta a 729 durante la etapa supervisada de ajuste fino (SFT). Esta estrategia de baja a alta resolución mantiene las capacidades de comprensión de imágenes al tiempo que optimiza para el uso de recursos.
Para mejorar aún más la eficiencia de entrenamiento, Open-Qwen2vl implementa el empaque de secuencia multimodal, lo que permite la concatenación de múltiples pares de texto de imagen en secuencias de aproximadamente 4096 tokens, minimizando así el relleno y la sobrecarga computacional. Los parámetros del codificador de visión permanecen congelados durante el pretruación para conservar los recursos y opcionalmente no están congelados durante SFT para mejorar el rendimiento posterior.
Open-Qwen2VL está entrenado en solo el 0.36% del recuento de tokens utilizado en QWEN2-VL, pero demuestra un rendimiento comparable o superior en varios puntos de referencia. El modelo logra una puntuación de 80.9 en Mmbench, y funciona de manera competitiva en Seedbench (72.5), MMStar (49.7) y Mathvista (53.1). Los estudios de ablación indican que la integración de un subconjunto pequeño (muestras de 5 m) de pares de texto de imagen de alta calidad filtrados utilizando técnicas basadas en MLM puede dar como resultado mejoras de rendimiento medibles, resaltando la importancia de la calidad de los datos sobre el volumen.
Además, Open-Qwen2vl exhibe capacidades de aprendizaje multimodal en contexto de pocas disparos robustas. Cuando se evalúa en conjuntos de datos como GQA y TextVQA, el modelo muestra ganancias de precisión del 3% al 12% de escenarios de 0-SHOT a 8-SHOT. Las escalas de rendimiento de ajuste fino previsiblemente con el tamaño del conjunto de datos de ajuste de instrucciones, con ganancias de rendimiento que se vierten de alrededor de 8 millones de ejemplos del conjunto de datos Mammoth-VL-10M.
Open-Qwen2vl presenta una tubería reproducible y eficiente en recursos para capacitar modelos de lenguaje grande multimodal. Al abordar sistemáticamente las limitaciones de los modelos anteriores en términos de apertura y requisitos de cálculo, permite una participación más amplia en la investigación MLLM. Las opciones de diseño del modelo, que incluyen un manejo eficiente de token visual, un empaque de secuencia multimodal y una selección de datos juiciosa, ilustra un camino viable para las instituciones académicas que tienen como objetivo contribuir al campo. Open-Qwen2vl establece una línea de base reproducible y proporciona una base para el trabajo futuro sobre MLLM escalables y de alto rendimiento dentro de entornos computacionales restringidos.
Verificar el Papel, Modelo, Datos y Código. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
