Son modelos potentes que toman imágenes como entrada, en lugar de texto como los LLM tradicionales. Esto abre muchas posibilidades, considerando que podemos procesar directamente el contenido de un documento, en lugar de usar OCR para extraer texto y luego introducir este texto en un LLM.
En este artículo, analizaré cómo se pueden aplicar modelos de lenguaje visual (VLM) para tareas de comprensión de documentos de contexto extenso. Esto significa aplicar VLM a documentos muy largos de más de 100 páginas o a documentos muy densos que contienen mucha información, como dibujos. Analizaré qué considerar al aplicar VLM y qué tipo de tareas puede realizar con ellos.
¿Por qué necesitamos VLM?
Hablé mucho sobre los VLM en mis artículos anteriores y expuse por qué son tan importantes para comprender el contenido de algunos documentos. La razón principal por la que se requieren VLM es que mucha información en los documentos requiere información visual para comprenderla.
La alternativa a los VLM es utilizar OCR y luego utilizar un LLM. El problema aquí es que solo estás extrayendo el texto del documento y no incluyes la información visual, como por ejemplo:
Dónde se coloca un texto diferente en relación con otro texto Información no textual (esencialmente todo lo que no sea una letra, como símbolos o dibujos) Dónde se coloca el texto en relación con otra información
Esta información suele ser fundamental para comprender realmente el documento y, por lo tanto, a menudo es mejor utilizar VLM directamente, donde introduce la imagen directamente y, por lo tanto, también puede interpretar la información visual.
Para documentos largos, usar VLM es un desafío, considerando que se necesitan muchos tokens para representar información visual. Por tanto, procesar cientos de páginas es un gran desafío. Sin embargo, con muchos avances recientes en la tecnología VLM, los modelos han mejorado cada vez más y han comprimido la información visual en longitudes de contexto razonables, lo que hace posible y utilizable aplicar VLM a documentos largos para tareas de comprensión de documentos.
OCR usando VLM
Una buena opción para procesar documentos largos y aun así incluir información visual es utilizar VLM para realizar OCR. El OCR tradicional como Tesseract, sólo extrae el texto directamente de los documentos junto con el cuadro delimitador del texto. Sin embargo, los VLM también están capacitados para realizar OCR y pueden realizar extracción de texto más avanzada, como:
Extraer Markdown Explicar información puramente visual (es decir, si hay un dibujo, explique el dibujo con texto) Agregar información faltante (es decir, si hay un cuadro que dice Fecha y un campo en blanco después, puede indicarle al OCR que extraiga la Fecha)
Recientemente, Deepseek lanzó un potente modelo de OCR basado en VLM, que ha recibido mucha atención y tracción últimamente, lo que ha hecho que los VLM para OCR sean más populares.
Reducción
Markdown es muy poderoso porque extrae texto formateado. Esto permite al modelo:
Proporcionar encabezados y subtítulos Representar tablas con precisión Poner el texto en negrita
Esto permite que el modelo extraiga texto más representativo y represente con mayor precisión el contenido del texto de los documentos. Si ahora aplica LLM a este texto, los LLM funcionarán mucho mejor que si los aplicara a texto simple extraído con OCR tradicional.
Los LLM funcionan mejor en texto formateado como Markdown, que en texto puro extraído mediante OCR tradicional.
Explicar la información visual.
Otra cosa para la que puedes utilizar VLM OCR es explicar información visual. Por ejemplo, si tiene un dibujo sin texto, el OCR tradicional no extraerá ninguna información, ya que solo está entrenado para extraer caracteres de texto. Sin embargo, puede utilizar VLM para explicar el contenido visual de la imagen.
Imagina que tienes el siguiente documento:
Este es el texto de introducción del documento. Esta es la conclusión del documento.
Si aplicara OCR tradicional como Tesseract, obtendría el siguiente resultado:
Este es el texto de introducción del documento. Esta es la conclusión del documento.
Esto es claramente un problema, ya que no incluyes información sobre la imagen que muestra la torre Eiffel. En su lugar, debería utilizar VLM, que generarían algo como:
Este es el texto de introducción del documento. Esta imagen muestra la torre Eiffel durante el día. Esta es la conclusión del documento.
Si utilizó un LLM en el primer texto, por supuesto no sabría que el documento contiene una imagen de la torre Eiffel. Sin embargo, si utilizó un LLM en el segundo texto extraído con un VLM, el LLM naturalmente respondería mejor a las preguntas sobre el documento.
Agregar información faltante
También puede solicitar a los VLM que generen contenidos si falta información. Para entender este concepto, mire la imagen a continuación:
Si aplicara OCR tradicional a esta imagen, obtendría:
Dirección Carretera 1 Fecha Empresa Google
Sin embargo, sería más representativo si utilizara VLM, que, si se les indica, podrían generar:
Dirección Carretera 1 Fecha Empresa Google
Esto es más informativo, porque estamos informando a cualquier modelo posterior que el campo de fecha está vacío. Si no proporcionamos esta información, es imposible saber tarde si simplemente falta la fecha, si el OCR no pudo extraerla o por cualquier otro motivo.
Sin embargo, el OCR que utiliza VLM todavía sufre algunos de los problemas con los que lucha el OCR tradicional, porque no procesa información visual directamente. Probablemente hayas oído el dicho de que una imagen vale más que mil palabras, lo que suele ser cierto para el procesamiento de información visual en documentos. Sí, puedes proporcionar una descripción de texto de un dibujo con un VLM como OCR, pero este texto nunca será tan descriptivo como el dibujo en sí. Por lo tanto, sostengo que en muchos casos es mejor procesar directamente los documentos utilizando VLM, como lo cubriré en las siguientes secciones.
Modelos de código abierto versus modelos de código cerrado
Hay muchos VLM disponibles. Sigo la tabla de clasificación de HuggingFace VLM para prestar atención a los nuevos modelos de alto rendimiento. Según esta tabla de clasificación, deberías optar por Gemini 2.5 Pro o GPT-5 si quieres utilizar modelos de código cerrado a través de una API. Según mi experiencia, estas son excelentes opciones, que funcionan bien para comprender documentos extensos y manejar documentos complejos.
Sin embargo, es posible que también desee utilizar modelos de código abierto, debido a la privacidad, el costo o para tener más control sobre su propia aplicación. En este caso, SenseNova-V6-5-Pro encabeza la clasificación. No he probado este modelo personalmente, pero he usado mucho el Qwen 3 VL, con el que tengo buena experiencia. Qwen también ha publicado un libro de cocina específico para la comprensión de documentos extensos.
VLM en documentos largos
En esta sección hablaré sobre la aplicación de VLM a documentos largos y las consideraciones que debe tener en cuenta al hacerlo.
Consideraciones sobre la potencia de procesamiento
Si está ejecutando un modelo de código abierto, una de sus principales consideraciones es qué tan grande es el modelo que puede ejecutar y cuánto tiempo lleva. Depende del acceso a una GPU más grande, al menos una A100 en la mayoría de los casos. Afortunadamente, esto está ampliamente disponible y es relativamente barato (normalmente cuesta entre 1,5 y 2 USD por hora en muchos proveedores de nube ahora). Sin embargo, debe considerar más a fondo la latencia que puede aceptar. La ejecución de VLM requiere mucho procesamiento y hay que considerar los siguientes factores:
¿Cuánto tiempo es aceptable dedicar a procesar una solicitud? ¿Qué resolución de imagen necesita? ¿Cuántas páginas necesitas procesar?
Si tiene un chat en vivo, por ejemplo, necesita un proceso rápido; sin embargo, si simplemente está procesando en segundo plano, puede permitir tiempos de procesamiento más largos.
La resolución de la imagen también es una consideración importante. Si necesita poder leer el texto de los documentos, necesita imágenes de alta resolución, normalmente superiores a 2048 × 2048, aunque, naturalmente, depende del documento. Los dibujos detallados, por ejemplo con texto pequeño, requerirán una resolución aún mayor. Aumentar la resolución aumenta considerablemente el tiempo de procesamiento y es una consideración importante. Debes apuntar a la resolución más baja posible que aún te permita realizar todas las tareas que deseas realizar. Además, el número de páginas es una consideración similar. A menudo es necesario agregar más páginas para tener acceso a toda la información de un documento. Sin embargo, a menudo, la información más importante se encuentra al principio del documento, por lo que podría salirse con la suya procesando solo las primeras 10 páginas, por ejemplo.
Procesamiento dependiente de la respuesta
Algo que puede intentar para reducir la potencia de procesamiento requerida es comenzar de manera simple y solo avanzar a un procesamiento más pesado si no obtiene las respuestas deseadas.
Por ejemplo, podría comenzar mirando solo las primeras 10 páginas y ver si puede resolver adecuadamente la tarea en cuestión, como extraer información de un documento. Sólo si no podemos extraer la información, comenzamos a buscar más páginas. Puede aplicar el mismo concepto a la resolución de sus imágenes, comenzando con imágenes de menor resolución y pasando a una resolución mayor según sea necesario.
Esta lata de procesamiento jerárquico reduce la potencia de procesamiento requerida, ya que la mayoría de las tareas se pueden resolver solo mirando las primeras 10 páginas o usando imágenes de menor resolución. Luego, sólo si es necesario, pasamos a procesar más imágenes, o imágenes de mayor resolución.
Costo
El costo es una consideración importante al utilizar VLM. He procesado muchos documentos y normalmente veo un aumento de alrededor de 10 veces en la cantidad de tokens cuando uso imágenes (VLM) en lugar de texto (LLM). Dado que los tokens de entrada suelen ser el generador de costos en tareas de documentos largos, el uso de VLM generalmente aumenta significativamente los costos. Tenga en cuenta que para OCR, el punto sobre más tokens de entrada que de salida no se aplica, ya que OCR naturalmente produce muchos tokens de salida cuando genera todo el texto en imágenes.
Por lo tanto, cuando se utilizan VLM, es increíblemente importante maximizar el uso de tokens almacenados en caché, un tema que hablé en mi artículo reciente sobre la optimización de LLM en términos de costo y latencia.
Conclusión
En este artículo, analicé cómo se pueden aplicar modelos de lenguaje de visión (VLM) a documentos largos para manejar tareas complejas de comprensión de documentos. Hablé de por qué los VLM son tan importantes y de los enfoques para utilizarlos en documentos largos. Por ejemplo, puede utilizar VLM para OCR más complejo o aplicar VLM directamente a documentos largos, aunque con precauciones sobre la potencia de procesamiento, el costo y la latencia necesarios. Creo que los VLM son cada vez más importantes, como lo destaca el reciente lanzamiento de Deepseek OCR. Por lo tanto, creo que los VLM para la comprensión de documentos es un tema en el que debería involucrarse y debería aprender a utilizar los VLM para aplicaciones de procesamiento de documentos.
👉 Encuéntrame en las redes sociales:
📩 Suscríbete a mi newsletter
🧑💻 Ponte en contacto
🐦X/Twitter
✍️ Medio
También puedes leer mis otros artículos: