Zyphra ha lanzado Zamba2-VL, una familia de modelos de lenguaje de visión abierta. La versión cubre tres tamaños: parámetros 1.2B, 2.7B y 7B. Cada modelo está construido sobre la columna vertebral híbrida SSM-Transformer de Zamba2.
Los modelos visión-lenguaje (VLM) leen imágenes y texto juntos. Responden preguntas sobre gráficos, documentos y fotografías. La mayoría de los VLM abiertos utilizan un Transformer denso como modelo de lenguaje. Zamba2-VL reemplaza eso con un diseño híbrido de espacio de estados. El objetivo es una precisión competitiva con una latencia más baja.
¿Qué es Zamba2-VL?
Zamba2-VL sigue la plantilla VLM estilo LLaVA ahora estándar. Un codificador de visión previamente entrenado convierte parches de imágenes en características. Un adaptador MLP liviano proyecta esas características en el espacio del modelo de lenguaje. Luego, el modelo de lenguaje lee una secuencia entrelazada de tokens de visión y texto. Los modelos admiten la comprensión y la conexión a tierra de imágenes únicas y múltiples.
Zyphra empareja cada columna vertebral de Zamba2 con Vision Transformer de Qwen2.5-VL. Ese codificador fue elegido por dos propiedades específicas. Utiliza incrustaciones de posiciones rotativas 2D y procesamiento nativo de resolución dinámica. Un adaptador MLP de dos capas conecta el codificador a la red troncal.
La Arquitectura
La columna vertebral del Zamba2 es donde el diseño difiere de los VLM típicos. Es un híbrido de capas de espacio de estados Mamba2 y bloques transformadores compartidos. Las capas de Mamba2 se ejecutan en tiempo lineal con un estado de tamaño fijo. Entre ellos se intercalan una pequeña cantidad de capas de atención compartida. Cada bloque compartido lleva un adaptador LoRA único en cada capa.
Las capas Mamba2 realizan la mayor parte del cálculo de forma económica. Las capas de atención compartida preservan la recuperación en contexto que los modelos SSM puros abandonan. El híbrido intercambia expresividad de atención total por eficiencia del espacio de estados.
Zamba2-VL utiliza el tokenizador Mistral v0.1. Fue entrenado con 100 mil millones de tokens de texto visual y datos de texto puro. Esos datos se obtuvieron de conjuntos de datos web abiertos.
Calidad del modelo y puntos de referencia
El equipo de investigación evaluó Zamba2-VL en 14 puntos de referencia. Estos abarcan la comprensión de gráficos, diagramas y documentos. También cubren la percepción general, el razonamiento y el conteo visual. Todas las puntuaciones provienen del sistema de evaluación de Zyphra, que se basa en VLMEvalKit. El informe se compara con las familias Molmo2, Qwen3-VL e InternVL3.5.
InternVL3.5-2B y Qwen3-VL-2B son similares en tamaño. Molmo2-4B y Qwen3-VL-4B son más grandes.
El patrón es desigual y vale la pena entenderlo. Contar es la categoría más fuerte. Zyphra informa que Zamba2-VL-1.2B tiene 62,5 en PixMoCount. Eso se compara con 32,8 para InternVL3.5-1B y 17,7 para PerceptionLM-1B. La comprensión de los documentos también se mantiene, con DocVQA en 90,9 para el modelo 2,7B. El modelo va por detrás de líneas de base más amplias en razonamiento con mucho conocimiento, como MMMU y MathVista.
Por qué la inferencia es más rápida
La inferencia es donde Zamba2-VL muestra su principal ventaja. La atención del transformador escala cuadráticamente con la longitud de la secuencia. Las entradas multimodales alargan las secuencias muy rápidamente. Una sola imagen de alta resolución puede agregar varios miles de tokens de visión. Un vídeo corto puede producir decenas de miles de tokens.
Zamba2-VL evita el creciente caché de atención de KV. Hereda un precarga de tiempo casi lineal y un estado recurrente de tamaño fijo. En una recarga previa de 32k tokens, lidera la gráfica de puntuación versus TTFT. Ningún Transformer VLM en la comparación igualó su puntuación con una latencia similar. La brecha de latencia es al menos de un orden de magnitud.
La ventaja de eficiencia es mayor en las escalas de 1.200 millones y 2.700 millones. Ese es el rango objetivo para la implementación en el dispositivo y en el borde.
Casos de uso con ejemplos
La cuestión práctica es dónde encaja esto. La extracción de documentos y formularios se beneficia de los sólidos resultados de DocVQA. Piense en el análisis de facturas o la digitalización de recibos a escala. El recuento de inventario y venta minorista se corresponde con las fortalezas de PixMoCount y CountBenchQA. El soporte de conexión a tierra permite señalar objetos en imágenes de productos o UI. Los asistentes en el dispositivo se benefician del bajo tiempo para obtener el primer token. El modelo 1.200 millones está dirigido a teléfonos y cajas de borde. Las entradas visuales largas, como los archivos PDF de varias páginas, se benefician más del prerrelleno en tiempo lineal.
Empezando
Los tres modelos viven en la colección Zyphra Zamba2-VL en Hugging Face. La inferencia se ejecuta a través de la bifurcación de transformadores de Zyphra, basada en transformadores v4.57.1. Los kernels Mamba2 optimizados necesitan una GPU CUDA para una buena latencia.
Instale la bifurcación y sus dependencias principales:
Los kernels Mamba2 optimizados necesitan dos paquetes más:
Luego cargue el modelo y ejecute una consulta de una sola imagen:
{“role”: “user”, “content”: [
{“type”: “image”, “image”: image,
“max_pixels”: num_img_tokens * 28 * 28, “min_pixels”: 10 * 28 * 28},
{“type”: “text”, “text”: question},
]}, ]solicitud = procesador.apply_chat_template(conversación, add_generación_prompt=True) imágenes, _ = proceso_vision_info(conversación) entradas = procesador(texto=prompt, imágenes=imágenes, add_special_tokens=True, return_tensors=”pt”) entradas = {clave: valor.a(dispositivo) para clave, valor en entradas.items()} salidas = model.generate(**entradas, max_new_tokens=100) print(procesador.tokenizer.decode(salidas[0][inputs[“input_ids”].forma[-1]:]))
Cambie el ID del modelo por Zamba2-VL-1.2B o Zamba2-VL-7B para cambiar la escala.
Fortalezas y debilidades
Fortalezas:
Primera familia VLM abierta en un SSM-Transformer LLM híbrido completamente abierto, según Zyphra. Aproximadamente un orden de magnitud menor en el tiempo hasta el primer token que las líneas base de Transformer comparables. Fuerte conteo visual y comprensión competitiva de documentos. Tres tamaños cubren la implementación de clase perimetral, media y 7B. Licencia Apache 2.0 con pesos públicos y código de inferencia funcional.
Debilidades y desafíos:
Publicado como artefacto de investigación. Se queda atrás en modelos más grandes sobre razonamiento del conocimiento como MMMU y MathVista. OCRBench más bajo que Qwen3-VL e InternVL3.5 del mismo tamaño. Los núcleos optimizados necesitan una GPU CUDA; Las rutas de la CPU son lentas. La implementación requiere autohospedaje a partir del código publicado.
Conclusiones clave
Zamba2-VL se envía con los parámetros 1.2B, 2.7B y 7B en Apache 2.0. La columna vertebral combina capas de espacio de estados de Mamba2 con algunos bloques de transformadores compartidos. El tiempo hasta el primer token disminuye aproximadamente en un orden de magnitud en comparación con los VLM de Transformer comparables. Contar y comprender documentos son puntos fuertes; el razonamiento del conocimiento se retrasa. Los pesos y el código de inferencia de trabajo son públicos en Hugging Face y GitHub.
Explicador interactivo de Marktechpost
Explicador interactivo
Zamba2-VL: Modelos híbridos SSM-Transformer Vision-Language
Abra VLM en 1.2B, 2.7B y 7B que reemplazan la atención densa con un híbrido de espacio de estado + transformador Mamba2. Apache 2.0.
1,2 mil millones 2,7 mil millones 7 mil millones
Cómo funciona Por qué es más rápido Puntos de referencia
El oleoducto (toca un escenario)
Zamba2-VL sigue la plantilla de estilo LLaVA: codificador de visión → adaptador → modelo de lenguaje.
Laboratorio de escalado de tokens
Arrastra el control deslizante o elige un ajuste preestablecido. Escalas de prellenado de atención O(n²); las capas de Mamba2 escalan O (n).
1 imagen de alta resolución (~3400) Algunas imágenes (~12 000) Vídeo corto (~24 000) Contexto largo (~32 000)
3.400 tokens de visión sobre una imagen de alta resolución
A esta longitud, el híbrido utiliza aproximadamente 1,0 veces menos cálculo de precarga
Reclamo medido: Zyphra informa un precarga de tiempo casi lineal y un estado recurrente de tamaño fijo. En una recarga previa de 32k tokens, informa aproximadamente un tiempo de obtención del primer token de un orden de magnitud menor que la línea base de Transformer más cercana.
Las barras de arriba ilustran el escalado O(n²) frente a O(n), no la latencia medida.
Explorador de puntos de referencia: Zamba2-VL-2.7B frente a líneas de base
Elija una evaluación. El verde es Zamba2-VL-2.7B. Cuanto más alto es mejor.
Fuente: Arnés de evaluación de Zyphra (VLMEvalKit). InternVL3.5-2B y Qwen3-VL-2B son similares en tamaño; Molmo2-4B y Qwen3-VL-4B son más grandes.
Consulte el documento, el repositorio de GitHub, los pesos de los modelos y los detalles técnicos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros