Jina AI ha lanzado Jina-VLM, un modelo de lenguaje de visión de parámetros de 2.400 millones que apunta a la respuesta visual a preguntas multilingües y la comprensión de documentos en hardware limitado. El modelo combina un codificador de visión SigLIP2 con una columna vertebral de lenguaje Qwen3 y utiliza un conector de agrupación de atención para reducir los tokens visuales y al mismo tiempo preservar la estructura espacial. Entre los VLM abiertos de escala 2B, alcanza resultados de vanguardia en puntos de referencia multilingües como MMMB y Multilingual MMBench.
Arquitectura, mosaicos superpuestos con conector de agrupación de atención
Jina-VLM mantiene el diseño estándar de VLM, pero optimiza el lado de la visión para una resolución arbitraria y un bajo recuento de tokens. El codificador de visión es SigLIP2 So400M/14 384, un transformador de visión de 27 capas con aproximadamente 400M de parámetros. Procesa cultivos de 378×378 píxeles en una cuadrícula de 27×27 de parches de 14×14, por lo que cada mosaico produce 729 tokens de parche.
Para manejar imágenes de alta resolución, el modelo no cambia el tamaño de la entrada completa a un solo cuadrado. En cambio, construye una cuadrícula de hasta 12 mosaicos superpuestos junto con una miniatura global. Cada mosaico tiene un recorte de 378 × 378, los mosaicos adyacentes se superponen en 112 píxeles y el paso entre los orígenes de los mosaicos es de 266 píxeles. Una cuadrícula de 4×3 cubre una resolución efectiva de 1176×910 píxeles antes de reducir la escala de imágenes más grandes para que se ajusten al presupuesto del mosaico.
El diseño central es el conector del lenguaje de visión. En lugar de utilizar la capa ViT final, Jina-VLM concatena características de dos capas intermedias, la tercera desde la última y la novena desde la última, que corresponden a las capas 24 y 18. Esto combina semántica de alto nivel y detalle espacial de nivel medio. Luego, el conector aplica la concentración de atención en vecindarios de parches de 2×2. Calcula una consulta agrupada media para cada región de 2 × 2, atiende el mapa de características concatenado completo y genera un único token agrupado por vecindario. Esto reduce 729 fichas visuales por mosaico a 182 fichas, lo que supone una compresión 4 veces mayor. Una proyección SwiGLU asigna las características agrupadas a la dimensión de incrustación de Qwen3.
Con la configuración predeterminada de 12 mosaicos más la miniatura, un conector ingenuo introduciría 9.477 tokens visuales en el modelo de lenguaje. La combinación de atención reduce esto a 2366 tokens visuales. El cálculo de ViT no cambia, pero para la columna vertebral del lenguaje esto produce aproximadamente 3,9 veces menos FLOP de precarga y caché KV 4 veces más pequeña. Al incluir el costo de ViT compartido, los FLOP generales se reducen aproximadamente 2,3 veces para la configuración predeterminada.
El decodificador de idioma es Qwen3-1.7B-Base. El modelo introduce fichas especiales para imágenes, con y alrededor de la secuencia de mosaicos y para marcar filas en la cuadrícula de parches. Los tokens visuales del conector y las incrustaciones de texto se concatenan y se pasan a Qwen3 para generar respuestas.
Canal de formación y combinación de datos multilingües
La formación se desarrolla en 2 etapas. Todos los componentes, codificador, conector y decodificador, se actualizan de forma conjunta, sin congelarse. El corpus completo contiene alrededor de 5 millones de muestras multimodales y 12 mil millones de tokens de texto en más de 30 idiomas. Aproximadamente la mitad del texto está en inglés y el resto cubre idiomas de recursos medios y altos, como chino, árabe, alemán, español, francés, italiano, japonés y coreano.
La etapa 1 es el entrenamiento de alineación. El objetivo es una base visual en varios idiomas, no seguir instrucciones. El equipo utiliza conjuntos de datos con muchos subtítulos PixmoCap y PangeaIns, que abarcan imágenes naturales, documentos, diagramas e infografías. Añaden un 15 por ciento de datos de texto únicamente del corpus común de PleiAS para controlar la degradación en tareas de lenguaje puro. El conector utiliza una tasa de aprendizaje más alta y un calentamiento más corto que el codificador y el decodificador para acelerar la adaptación sin desestabilizar las redes troncales.
La etapa 2 es el ajuste fino de las instrucciones. Aquí Jina VLM aprende a seguir indicaciones para responder preguntas visuales y razonar. La mezcla combina LLaVA OneVision, Cauldron, Cambrian, PangeaIns y FineVision, además de instrucciones de texto multilingüe estilo Aya. El equipo de investigación de Jina primero entrenó para 30.000 pasos con lotes de fuente única, luego para otros 30.000 pasos con lotes de fuente mixta. Este horario estabiliza el aprendizaje en presencia de una supervisión muy heterogénea.
A través del entrenamiento previo y el ajuste fino, el modelo ve alrededor de 10 mil millones de tokens en la primera etapa y 37 mil millones de tokens en la segunda etapa, con un total de aproximadamente 1300 horas de GPU reportadas para los experimentos principales.
Perfil de referencia, modelo 2.4B con potencia multilingüe
En tareas VQA estándar en inglés que incluyen diagramas, cuadros, documentos, OCR y escenas mixtas, Jina-VLM alcanza una puntuación promedio de 72,3 en 8 puntos de referencia. Estos son AI2D, ChartQA, TextVQA, DocVQA, InfoVQA, OCRBench, SEED Bench 2 Plus y CharXiv. Este es el mejor promedio entre los modelos de comparación a escala 2B en este artículo de investigación de Jina AI.
En tareas de comprensión multimodal y comprensión del mundo real, el modelo obtiene una puntuación de 67,4 en el grupo multimodal, que incluye MME, MMB v1.1 y MMStar. Obtiene una puntuación de 61,9 en el grupo del mundo real, que incluye RealWorldQA, MME RealWorld y R Bench, y alcanza una precisión de 68,2 en el propio RealWorldQA, que es el mejor resultado entre las líneas de base consideradas.
El razonamiento con múltiples imágenes es un área más débil. En BLINK, MuirBench y MMT, Jina-VLM alcanza una media de 47,3. El equipo de investigación señala como motivo la limitación de los datos de entrenamiento con múltiples imágenes. Por el contrario, el control de las alucinaciones es fuerte. En el punto de referencia POPE, que mide la alucinación de objetos, el modelo obtiene una puntuación de 90,3, la mejor puntuación en la tabla comparativa.
Para el razonamiento matemático y estructurado, el modelo utiliza la misma arquitectura, sin modo de pensamiento. Alcanza 59,5 en MMMU y una puntuación general en matemáticas de 33,3 en MathVista, MathVision, MathVerse, WeMath y LogicVista. Jina-VLM es comparable a InternVL3-2B en este conjunto y claramente por delante de Qwen2-VL-2B, mientras que InternVL3.5-2B sigue siendo más fuerte debido a su mayor escala y su formación matemática más especializada.
En los puntos de referencia de texto puro, el panorama es mixto. El equipo de investigación informa que Jina-VLM mantiene la mayor parte del rendimiento del Qwen3-1.7B en MMLU, GSM 8K, ARC C y HellaSwag. Sin embargo, MMLU-Pro cae de 46,4 para el modelo base a 30,3 después del ajuste multimodal. El equipo de investigación atribuye esto al ajuste de instrucciones que empuja al modelo hacia respuestas muy cortas, lo que choca con el razonamiento largo de varios pasos requerido por MMLU Pro.
Lo más destacado es la comprensión multimodal multilingüe. En MMMB en árabe, chino, inglés, portugués, ruso y turco, Jina-VLM alcanza un promedio de 78,8. En MMBench multilingüe en los mismos idiomas, alcanza 74,3. El equipo de investigación los reporta como promedios de última generación entre los VLM abiertos de escala 2B.
Tabla comparativa
Conclusiones clave
Jina-VLM es un VLM de parámetros de 2.4B que combina SigLIP2 So400M como codificador de visión con Qwen3-1.7B como columna vertebral del lenguaje a través de un conector de agrupación de atención que corta los tokens visuales 4 veces manteniendo la estructura espacial. El modelo utiliza mosaicos superpuestos de 378 × 378, 12 mosaicos más una miniatura global, para manejar imágenes con resolución arbitraria de hasta aproximadamente 4K, luego envía solo tokens visuales agrupados al LLM, lo que reduce los FLOP de precarga y el tamaño de caché KV aproximadamente 4 veces en comparación con el uso ingenuo de tokens de parche. La capacitación utiliza alrededor de 5 millones de muestras multimodales y 12 mil millones de tokens de texto en casi 30 idiomas en un proceso de 2 etapas, primero la alineación con datos de estilo de subtítulos y luego el ajuste fino de las instrucciones con LLaVA OneVision, Cauldron, Cambrian, PangeaIns, FineVision y conjuntos de instrucciones multilingües. En VQA en inglés, Jina-VLM alcanza un promedio de 72,3 en 8 puntos de referencia VQA, y en puntos de referencia multimodales multilingües lidera la clase de escala abierta 2B con 78,8 en MMMB y 74,3 en MMBench multilingüe mientras mantiene un rendimiento competitivo de solo texto.
Consulte el documento, el modelo en HF y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.