IBM ha lanzado Granite-Docling-258mun modelo de lenguaje de visión de código abierto (Apache-2.0) diseñado específicamente para la conversión de documentos de extremo a extremo. El modelo se dirige a la extracción de diseño de diseño (tablas, código, ecuaciones, listas, subtítulos y orden de lectura) que emita una representación estructurada y legible por máquina en lugar de una reducción con pérdida. Está disponible en la cara abrazada con una demostración en vivo y una construcción de MLX para Apple Silicon.
¿Qué hay de nuevo en comparación con SmitroCling?
Granite-Docling es el sucesor listo para el producto de Smoldocling-256m. IBM reemplazó la columna vertebral anterior con un Granito 165m modelo de idioma y actualizado el codificador de visión para Siglip2 (base, parche16-512) mientras conserva el conector de estilo IDEFICS3 (proyector Pixel-Shuffle). El modelo resultante tiene 258 m de parámetros y muestra ganancias de precisión consistentes en el análisis de diseño, OCR, código, ecuaciones y tablas de la página completa (ver métricas a continuación). IBM también abordó los modos de falla de inestabilidad observados en el modelo de vista previa (por ejemplo, bucles de tokens repetitivos).
Tubería de arquitectura y entrenamiento
- Columna vertebral: Pila derivada de IDEFICS3 con codificador de visión Siglip2 → conector de píxeles-shuffle → granito 165m LLM.
- Marco de capacitación: nanovlm (Ligero, Pure-Pytorch VLM Tooling Toolkit).
- Representación: Salidas Doctoradoun marcado autorizado por IBM diseñado para una estructura de documentos inequívoca (elementos + coordenadas + relaciones), que las herramientas aguas abajo se convierten a Markdown/HTML/JSON.
- Calcular: Entrenado en IBM’s Vela azul H100 Cluster.
Mejoras cuantificadas (Granite-Docling-258m vs. Smoldocling-256M Vista previa)
Evaluado con docling-evalLMMS-EVAL, y conjuntos de datos específicos de tareas:
- Disposición: Mapa 0.27 vs. 0.23; F1 0.86 vs. 0.85.
- OCR de página completa: F1 0.84 vs. 0.80; Distancia de edición más baja.
- Reconocimiento de código: F1 0.988 vs. 0.915; distancia de edición 0.013 vs. 0.114.
- Reconocimiento de la ecuación: F1 0.968 vs. 0.947.
- Reconocimiento de la tabla (fintabnet @150dpi): Estructura de teds 0.97 vs. 0.82; Teds con contenido 0.96 vs. 0.76.
- Otros puntos de referencia: Mmstar 0.30 vs. 0.17; Bancarro 500 vs. 338.
- Estabilidad: “Evita los bucles infinitos de manera más efectiva” (solución orientada a la producción).
Soporte multilingüe
Doclina de granito agrega experimental soporte Japonés, árabe y chino. IBM marca esto como la etapa temprana; El inglés sigue siendo el objetivo principal.
Cómo los cambios de la ruta de Doctags documentan AI
Las tuberías convencionales de OCR a la marca pierden información estructural y complican la generación de recuperación aguas abajo (RAG). Doclina de granito emite Doctorado—Un gramática estructural compacta, amigable con LLM, que el contalmamento se convierte en markdown/html/json. Esto preserva la topología de la tabla, las matemáticas en línea/flotantes, los bloques de código, los subtítulos y el orden de lectura con coordenadas explícitas, mejorando la calidad del índice y la base para el trapo y el análisis.
Inferencia e integración
- Integración de DoCling (recomendado): El
doclingCLI/SDK saca automáticamente el doco de granito y convierte PDF/Docs/imágenes de Office en múltiples formatos. IBM posiciona el modelo como un componente dentro de las tuberías de contenedor en lugar de un VLM general. - Tiempos de ejecución: Trabajar con Transformadores, vllm, ONNXy Mlx; un dedicado Mlx La construcción está optimizada para el silicio de manzana. Un espacio para abrazar la cara proporciona una demostración interactiva (zerogpu).
- Licencia: Apache-2.0.
Por qué se docan granito?
Para el documento empresarial ai, pequeños VLM que preservar la estructura Reduzca el costo de inferencia y la complejidad de la tubería. La doco de granito reemplaza a múltiples modelos de propósito único (diseño, OCR, tabla, código, ecuaciones) con un solo componente que emite una representación intermedia más rica, mejorando la fidelidad de recuperación y conversión aguas abajo. Las ganancias medidas (en TED para tablas, F1 para código/ecuaciones e inestabilidad reducida) lo hacen una actualización práctica de la sorpresa para los flujos de trabajo de producción.
Manifestación
Resumen
Granite-Docling-258M marca un avance significativo en el documento compacto que presenta la estructura IA. Al combinar la columna vertebral de granito de IBM, el codificador de visión SIGLIP2 y el marco de entrenamiento NanovLM, ofrece un rendimiento listo para la empresa en tablas, ecuaciones, código y texto multilingüe, todo al tiempo que permanece ligero y de código abierto bajo Apache 2.0. Con ganancias medibles sobre su predecesor de Smoldocling y su integración perfecta en tuberías de contalmentación, Granite-Docling proporciona una base práctica para la conversión de documentos y los flujos de trabajo de RAG donde la precisión y la confiabilidad son críticos.
Mira el Modelos en la cara abrazada y Demostración aquí. No dude en ver nuestro Página de Github para tutoriales, códigos y cuadernos. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.