y caro. El analizador rápido no detecta la tabla en la que se encuentra la respuesta. Ejecute el análisis pesado en cada página de un informe de 200 páginas y pagará por 200 páginas para rescatar tres. Ejecute el barato por todas partes y la única mesa aplanada hundirá la respuesta. Ninguna configuración es adecuada para todo el documento, porque el documento no es uniforme: la mayoría de las páginas son texto plano que un analizador rápido maneja bien, y algunas contienen las tablas que necesitan el costoso. La página misma debería decidir con qué dificultad se analiza.
Este artículo es la primera de dos partes sobre análisis adaptativo, en la Parte III de Enterprise Document Intelligence, una serie que construye un sistema RAG empresarial a partir de cuatro bloques: análisis de documentos, análisis de preguntas, recuperación y generación. Esta parte construye la cascada de escalada y las comprobaciones económicas que deciden cuándo un análisis es lo suficientemente bueno; la segunda parte, Ingeniería de bucles con análisis adaptativo en acción: análisis de tablas planas con Azure y figuras con una visión LLM (enlace por venir), muestra a los analizadores más profundos en acción.
📓 El complemento ejecutable ejecuta las comprobaciones económicas usted mismo: llama a pre_parse_signals en cada página del documento de Atención, imprime los indicadores por página (char_count, image_count, la huella digital de la mesa plana en line_df) y observa qué páginas se dirigen a un analizador más pesado antes de gastar un solo dólar en uno. En GitHub: doc-intel/notebooks-vol1.
PyMuPDF analiza una página en cinco milisegundos de forma gratuita. Un LLM de visión en la misma página puede costar diez mil veces más y tardar diez segundos. Cuando la pregunta reside en prosa sencilla, gana el analizador barato. Cuando la respuesta se esconde dentro de una tabla, una figura, una región escaneada o un diseño aplanado, el analizador barato no devuelve nada útil en silencio y el LLM responde con confianza a la pregunta equivocada.
Ejecutar el analizador más pesado en cada página es un desperdicio. Utilizar el más barato en todas partes está mal. El truco consiste en empezar barato y escalar solo cuando algo diga que el análisis barato no dio la respuesta. Esa señal tiene que provenir del proceso mismo: una cadena de verificaciones contra el resultado del análisis, la pregunta y la propia huella del LLM cuando intenta usar lo que salió.
La forma de solucionar esto es un circuito de retroalimentación que el proceso construye por sí mismo. Comience con el analizador más barato. Evaluar su rendimiento en cada revisión del oleoducto. Escale a un analizador más profundo solo cuando al menos una verificación marque el análisis barato como insuficiente para la pregunta.
La evaluación no es un control en un solo lugar. Es una cascada:
El análisis previo de los metadatos enruta la mayor parte del corpus antes de cualquier extracción. Los resultados del tiempo de análisis señalan las tablas aplanadas y las figuras opacas. La puntuación de recuperación atrapa los anclajes que se desplazan. La generación señala lo que sobrevivió a todo lo anterior.
Cada cheque es más barato que el siguiente, más confiable que el siguiente y plantea su propia pregunta: "¿el analizador produjo lo suficiente para responder?".
Esta parte recorre el extremo barato de esa cascada: en cada verificación, qué indicador se activa, cuánto cuesta calcularlo, qué se compra. Juntos deciden, antes de que se ejecute cualquier costoso analizador, si una página lo necesita. Dos ejemplos recurrentes atraviesan ambas partes, ambos del documento Attention (Vaswani et al. 2017, bajo la licencia de distribución no exclusiva de arXiv): Tabla 3 (página 9, una cuadrícula analizada plana donde cada celda es su propia línea) y Figura 1 (página 3, un cuerpo de diagrama que PyMuPDF devuelve vacío). Aquí vemos cómo se detecta cada uno de forma gratuita; la segunda parte los intensifica de un extremo a otro.
1. Cuando el análisis barato no es suficiente
El análisis adaptativo se ejecuta en dos fases. La primera fase es la inicialización: elija un analizador de referencia por documento, según lo que sea el documento (PDF nativo, escaneo, exportación de Word). En el contexto de una plataforma, esto activa la ingestión: cada documento nuevo recibe su análisis de referencia al llegar, por lo que el sistema siempre tiene una primera capa de texto con la que trabajar, incluso para archivos PDF escaneados donde la línea de base tiene que ser un motor de OCR porque PyMuPDF regresaría vacío. La segunda fase es la cascada: ejecutar comprobaciones deterministas baratas en la salida de la línea de base y escalar las páginas que fallan a un analizador más profundo. La mayoría de las páginas permanecen en la línea base; los pocos que no pasan la prueba reciben el trato más rico que realmente necesitan.
El oleoducto siempre comienza barato en la primera fase. PyMuPDF en archivos PDF nativos, un motor OCR gratuito en escaneos. Ambos producen la misma forma line_df, por lo que el resto del proceso (análisis de preguntas, recuperación, generación) no sabe qué analizador se ejecutó. Eso funciona la mayor parte del tiempo. Falla en un conjunto pequeño pero predecible de formas de contenido, y la fase dos tiene varios lugares para detectar la falla, ordenados desde comprobaciones deterministas baratas de las salidas del analizador hasta una llamada LLM de línea de defensa final en el momento de la generación.
1.1. Análisis económico: PyMuPDF para archivos PDF nativos, OCR gratuito para escaneos
El artículo 5A (qué leer en un PDF) introdujo PyMuPDF (importado como fitz) como el valor predeterminado para archivos PDF nativos digitales: 5 segundos por documento, sin llamadas API, sin costo y una extracción limpia a nivel de línea con cuadros delimitadores. El documento de Atención, el Marco de Ciberseguridad del NIST (trabajo del gobierno de EE. UU., dominio público en los EE. UU., consulte la declaración de derechos de autor del NIST), la mayoría de las exportaciones de oficina, la mayoría de los documentos arXiv, casi todos los contratos escritos en Word o LaTeX: PyMuPDF es el punto de partida correcto.
La otra mitad del corpus son escaneos: páginas fotografiadas, documentos enviados por fax, archivos PDF con sólo imágenes. PyMuPDF devuelve texto vacío en ellos. Un motor de OCR gratuito como Tesseract o PaddleOCR llena el vacío: la misma forma line_df, pero más lento (minutos por documento) y más débil en estructura. El OCR gratuito lee razonablemente bien el texto del párrafo. Tiene problemas con tablas, diseños de varias columnas y escaneos degradados. Mencionamos aquí el caso escaneado para que esté completo; Los ejemplos trabajados en este artículo utilizan un PDF nativo para que podamos aislar el mecanismo de falla de análisis sin ruido de OCR en la parte superior.
OCR no tiene un nivel bueno y barato. Mientras que la extracción de PDF nativo es casi sin pérdidas en el nivel PyMuPDF, el reconocimiento de caracteres en un escaneo comienza débil sin importar el motor. El OCR gratuito (Tesseract, EasyOCR) obtiene texto legible a partir de escaneos modernos y limpios, luego se degrada rápidamente en páginas torcidas, DPI bajos, idiomas mixtos, fuentes históricas, márgenes de columnas estrechos, cualquier cosa por debajo de 200 DPI. Docling usa EasyOCR de forma predeterminada para el reconocimiento de caracteres, por lo que los errores a nivel de OCR son los mismos: lo que Docling agrega es un diseño sobre esos caracteres, no mejores caracteres. Los servicios de inteligencia artificial de documentos en la nube (Azure Document Intelligence, AWS Textract, Mistral Document AI) reconocen mejor los caracteres y agregan diseño, por unos pocos centavos por página. Los LLM de Vision leen escaneos dañados que los demás abandonan, a unos pocos centavos por página, según el modelo.
La asimetría es importante para la fase de inicialización. En un corpus nativo, la línea de base barata es realmente buena. En un corpus de escaneo, la línea de base barata es realmente débil y la cascada se activará en la mayoría de las páginas en lugar de en las pocas que PyMuPDF pasaría por alto. En un corpus con muchos escaneos, elegir un nivel pago como base inicial suele ser más barato de un extremo a otro que ejecutar escalaciones por página.
Docling como base más sólida, cuando el presupuesto y el hardware lo permitan. Docling es de código abierto, gratuito en tiempo de ejecución y compatible con el diseño. Incluye la división PyMuPDF + Tesseract: una llamada maneja archivos PDF nativos y escaneos OCR, devuelve tablas estructuradas, secciones y títulos de imágenes listos para usar. Es tentador como punto de referencia universal, pero la forma del costo es real. Docling extrae unos cientos de MB de diseños y modelos de TableFormer en la primera instalación. En tiempo de ejecución, es uno o dos órdenes de magnitud más lento que PyMuPDF en archivos PDF nativos (los quinquies del Artículo 5 midieron alrededor de veintisiete segundos por página en un escaneo de 1974), y esa latencia supone una GPU en funcionamiento. En la CPU vuelve a ser notablemente más lento. En un corpus de 500 páginas, eso significa de minutos a una hora de tiempo de análisis por documento, no los cinco segundos que proporciona PyMuPDF. La instalación en sí también puede combatir la inspección SSL corporativa.
La pregunta correcta no es "¿puedo utilizar Docling como base?" pero "¿la dotación operativa (tamaño del corpus, acceso a la GPU, presupuesto de latencia de ingesta) me permite permitírmelo?". Aparecen tres regímenes:
Un corpus pequeño, una GPU disponible y la calidad del diseño son importantes: la documentación como base vale la pena. La cascada siguiente rara vez se activa porque la línea base ya devolvió una salida estructurada. Corpus grande, sin GPU o latencia de ingesta estricta: PyMuPDF + Tesseract sigue siendo la base. Docling ingresa a la cascada como un nivel de escalada (fila Camelot / Docling en el gradiente de costos), invocado solo en las páginas que no pasaron la verificación, no en todo el documento. Corpus mixto: línea base por documento. Los PDF nativos pasan por PyMuPDF, los escaneados por Tesseract o Docling, según disponibilidad. La fase de inicialización ya eligió la herramienta adecuada para cada tipo de documento; la cascada atrapa los fallos sobrantes.
La arquitectura de dos fases absorbe las tres. Elija la línea de base más sólida que la dotación operativa le permita permitirse; deje que la cascada se encargue de lo que la línea de base aún omita.
La razón por la que esto es importante es el gradiente de costos entre los niveles de analizadores. En un documento de 500 páginas de principio a fin:
El gradiente hace que el análisis bajo demanda valga la pena. Mantenga la mayoría de las páginas en PyMuPDF; pague por un analizador más profundo solo en las páginas que necesita la pregunta.
1.2. Los casos de falla que el análisis barato no puede manejar
El análisis económico es rápido y gratuito, y deja un conjunto reconocible de contenido invisible o codificado. Regularmente aparecen cinco formas:
Tablas aplanadas: el error más común en archivos PDF nativos. PyMuPDF devuelve cada celda como una línea separada, en orden geométrico, con la estructura de columnas borrada. “Autoatención” y “O(n² · d)” se encuentran en las líneas 9 y 10 de la página sin nada que las conecte: el LLM no puede emparejar la etiqueta de la fila con su valor. Detectado en el momento del análisis mediante la huella digital de la mesa plana (Sección 3.2.2); Caminó de punta a punta en la segunda parte. Figuras y diagramas: PyMuPDF extrae el texto de la página alrededor de una imagen, pero la imagen en sí es opaca. “La Figura 1 muestra la arquitectura codificador-decodificador” sobrevive; el diagrama de arquitectura no. Detectado en el momento del análisis mediante la verificación de figuras opacas (Sección 3.2.3); Caminó de punta a punta en la segunda parte. Diseños de varias columnas: una página de dos columnas donde el analizador recorre las columnas geométricamente en lugar de lógicamente produce oraciones entrelazadas de ambas columnas. El texto está técnicamente ahí; el orden de lectura está roto. OCR degradado: las páginas escaneadas con baja resolución, distorsiones o artefactos de compresión producen errores a nivel de caracteres: confusión 1/I/1, palabras fragmentadas, puntuación faltante. El LLM a veces puede recuperar el significado, a veces alucina en torno al ruido. Objetos incrustados: ecuaciones representadas como rutas vectoriales, firmas como imágenes, casillas de verificación, marcas de agua: objetos que el analizador puede devolver como marcadores de posición, texto confuso o nada en absoluto.
Esta parte elige dos de ellos (tablas aplanadas, figuras) para los recorridos trabajados que desarrolla la segunda parte, porque tienen las reproducciones más limpias de un documento público. El mecanismo es el mismo para los otros tres. Las comprobaciones deterministas del tiempo de análisis (bloque de análisis de documentos, sección 3) marcan la forma de la falla y la canalización enruta la página al analizador más profundo derecho. La señal LLM en el momento de la generación (ladrillo de generación, en la segunda parte) es la red de seguridad para los casos en los que las comprobaciones deterministas no detectaron aguas arriba.
Una razón más para analizar con pereza, en números. Un corpus empresarial tiene un promedio de 30 a 100 páginas por documento, de 1 a 3 páginas relevantes para cualquier pregunta determinada y menos de 10 preguntas por documento a lo largo de su vida. Multiplíquelos y aproximadamente el 90% de cualquier página analizada durante la ingesta nunca será consumida por ninguna respuesta. El análisis profundo de cada página por adelantado paga la factura de páginas que nadie leerá jamás.
Aquí está el artículo completo en una sola imagen. El resto del texto recorre cada parte de esta cascada, pero ayuda tener primero el mapa completo.
2. Una cascada de controles de evaluación
El análisis de la calidad es una decisión de múltiples comprobaciones. El proceso comienza barato y pregunta, en cada verificación, si el analizador produjo lo suficiente para la pregunta. Cada cheque tiene un costo; cada verificación que señala un problema puede enrutar la página afectada a un analizador más profundo. El oleoducto paga sólo por la calidad que necesita la pregunta.
Los cuatro bloques del proceso (análisis de documentos, análisis de preguntas, recuperación y generación, presentados en los artículos 5 a 8) poseen cada uno de uno a tres de los nueve controles de evaluación. La agrupación hace que la cascada sea legible: cada cheque pertenece a un ladrillo, cada ladrillo tiene su propio perfil de costos y su propio cheque característico. El diagrama de cascada de la sección 1 muestra el mapeo completo.
Los dos ejemplos recurrentes concretan la cascada.
La tabla 3 en la página 9 del documento Atención es una cuadrícula analizada plana: cada celda en su propia línea sin ningún ancla de columna sobreviviente. La densidad del texto por sí sola no lo alcanza en el control 1; la huella dactilar determinista check-2 la capta limpiamente (firma de mesa plana), y la check 7 (la bandera LLM) la confirma, con las salvedades desarrolladas en la segunda parte. La Figura 1 en la página 3 es el cuerpo del diagrama que PyMuPDF devuelve vacío. Detectable en la verificación 1 (densidad de texto inferior al promedio combinada con una imagen incrustada), en la verificación 2 (región de figura opaca con cero caracteres extraídos) y en la verificación 7.
El cheque más barato que se activa gana, y el canal nunca hace una pregunta a los cheques más lentos y a los cheques más rápidos ya respondidos.
El modelo de datos que lo respalda: cualquiera que sea la verificación que desencadene la escalada, el esquema para la repetición es el mismo. Agregue una columna, parsing_method, a las tablas relacionales del Artículo 5. La lógica de escalamiento es: escribir nuevas filas con un método más profundo en las páginas afectadas. Los documentos mixtos, el seguimiento de auditoría y el almacenamiento en caché quedan fuera del esquema de forma gratuita.
page_df es el lugar canónico porque el análisis siempre se realiza por página. Después de una ejecución adaptativa típica en el documento Transformer, donde la cascada marcó la página 6 (Tabla 1, Longitudes máximas de ruta, captadas por la huella digital de la mesa plana check-2) y la página 3 (Figura 1, captada por la señal de densidad de carbón en la verificación 1 y la señal de figura opaca en la verificación 2), page_df se ve así. Esta sección utiliza la Tabla 1 para mostrar la forma de las tablas escaladas; El tutorial completo de principio a fin de la segunda parte toma una segunda tabla plana, Tabla 3 en la página 9 (Variaciones en la arquitectura Transformer), por lo que verá el patrón en dos tablas reales diferentes en lugar de una.
Se incluyen dos decisiones de diseño. En primer lugar, la escalada agrega nuevas filas, no las reemplaza. La fila de PyMuPDF de la página 6 permanece junto a la fila de Azure: "PyMuPDF lo intentó, la cascada marcó el análisis, se llamó a Azure y tuvo éxito". En segundo lugar, la columna context_structured en page_df permite que las consultas posteriores elijan la fila correcta: SELECT * FROM page_df WHERE page_num=6 AND context_structured=True devuelve el análisis confiable sin volver a ejecutarlo.
line_df también incluye parsing_method. Las líneas de PyMuPDF coexisten con las líneas del analizador más profundo en la misma página. PyMuPDF produjo la prosa alrededor de la Tabla 1; Azure produjo las filas de rebajas de la propia tabla; ambos permanecen en line_df. El bloque de recuperación lee line_df y ve una forma uniforme, independientemente de qué analizador produjo qué fila.
Las imágenes también viven en line_df, como filas con type='image' y un texto de marcador de posición. Esta es la broca que hace que la caja de la figura (en la segunda parte) funcione mecánicamente igual que la caja de la mesa. La señal de figura opaca en el control 2 ya marca dichas páginas solo desde line_df (imagen presente, cero caracteres extraíbles dentro de su bbox). Cuando la cascada marca la página 3, la canalización selecciona la fila de image_df, ve parsing_method='not_parsed' y llama a un LLM de visión. La salida de visión se agrega a line_df como nuevas filas de texto con parsing_method='vision_gpt4o' y la fila image_df se actualiza.
El nuevo análisis dirigido es una llamada de función, independiente del método, que devuelve nuevas filas con parsing_method=method ya completado:
def enrich(pdf_path, line_df, page_df, páginas, método): """Agregue filas de capa 2 para `páginas` usando `método`; mantenga las filas existentes para auditoría.""" if método == "azure_layout": de docintel.parsing.pdf.azure_layout import azure_layout_pdf_to_line_df new_lines = azure_layout_pdf_to_line_df(pdf_path, páginas=páginas) elif método == "vision_gpt4o": new_lines = vision_extract(pdf_path, páginas=páginas) # new_lines ya lleva parsing_method=método line_df = pd.concat([line_df, new_lines], ignore_index=True) page_df = append_page_rows(page_df, páginas, método) devuelve line_df, page_df
El esquema line_df del Artículo 5 no ha cambiado para los bloques posteriores: la recuperación y la generación leen line_df, agrupan por page_num y nunca necesitan saber qué analizador produjo qué línea. El único contrato que cambió es "la identidad del analizador viaja con la fila".
3. Análisis de documentos: controles deterministas gratuitos
El análisis de documentos posee tres de las nueve comprobaciones: análisis previo (verificación 1, antes de que se ejecute cualquier extracción), tiempo de análisis (verificación 2, en las propias salidas de PyMuPDF) y análisis posterior (verificación 3, en fragmentos posteriores a line_df). Los tres son deterministas, gratuitos y producen un veredicto en milisegundos sin ninguna llamada de LLM. Juntos captan la mayoría de las formas de falla que interesan al artículo, incluido el Caso A (la mesa plana, Tabla 3 en la página 9) y el Caso B (la figura opaca, Figura 1 en la página 3), los dos casos que la segunda parte recorre de un extremo a otro.
3.1. Comprobación 1: análisis previo
El punto de evaluación más barato se sitúa antes de que se ejecute cualquier llamada de extracción de texto. PyMuPDF ya puede informar metadatos por página en milisegundos: cuántos caracteres puede extraer, cuántas imágenes incrustadas lleva cada página, qué cadena de productor declara el PDF. Estas señales enrutan la mayor parte del corpus antes de que la decisión de análisis se vuelva interesante.
3.1.1. Densidad de texto por página y recuento de imágenes
Una página PDF nativa normalmente extrae entre 2000 y 4000 caracteres de texto. Las páginas que se encuentran muy por debajo, junto con una o más imágenes incrustadas, indican que “la página es principalmente una figura” sin una inspección más profunda.
Para la Figura 1 en la página 3, esta señal por sí sola es suficiente para marcar: 1827 caracteres frente a la media de 2633 caracteres del documento, más una imagen incrustada. La canalización podría enrutar la página 3 a un LLM de visión sin tener que llamar a Azure ni ejecutar un pase de generación. Para la Tabla 3 en la página 9, no se activa la misma señal: 2973 caracteres (por encima de la media), cero imágenes incrustadas. La marca 1 captura uno de los dos ejemplos de forma gratuita; El cheque 2 atrapará al otro.
3.1.2. Metadatos de PDF, cadena de productor y sugerencia de nivel
Los metadatos PDF agregan un segundo clasificador económico. El productor del documento de atención es pdfTeX-1.40.25, que dice escrito en LaTeX, nativo, no se necesita OCR. Un PDF producido con un escáner diría Adobe Scan, Canon, OmniPage. Esa única cadena enruta el 80 % del corpus de una empresa al nivel correcto antes de que se ejecute cualquier extracción de texto. La fecha de creación, la lista de fuentes incrustadas y la presencia de un bloque XMP añaden clasificadores toscos pero útiles.
pre = pre_parse_signals("data/paper/1706.03762v7.pdf") pre["producer"] # -> "pdfTeX-1.40.25" pre["is_scanner_output"] # -> False pre["pages"].head() # page_num char_count image_count image_bboxes # 1 2858 0[]# 2 4256 0[]# 3 1827 1 [(196.6, 72.0, 415.4, 394.4)] <– Figura 1 # 4 2508 2 [(175.0, 94.0, 239.0, 221.3), # (346.8, 82.7, 467.0, 267.3)] <– Figura 2#5 3193 0[]
El resultado de esta verificación no es la respuesta a una pregunta. Es un juicio por página: "esta página es normal", "a esta página le falta un cuerpo de imagen", "todo este documento está escaneado y necesita OCR por adelantado". El juicio es gratuito y se envía con la columna parsing_method en page_df.
3.2. Comprobación 2: tiempo de análisis
PyMuPDF se ejecuta a continuación. Sus salidas ya transmiten señales deterministas sobre el trazado que acaba de recorrer. Tres comprobaciones se activan solo desde line_df y ninguna de ellas necesita una llamada LLM.
3.2.1. Recuento de columnas por página y riesgo de orden de lectura
PyMuPDF extrae cada línea con coordenadas del cuadro delimitador. La agrupación de coordenadas x de línea por página produce un recuento de columnas. Un documento bien estructurado tiene un recuento de columnas estable de una página a otra. La variación es la señal de enrutamiento.
La anomalía de la página 10 es en sí misma una señal de calidad de análisis. El detector no produjo un conteo incorrecto por accidente, lo produjo porque la mesa rompió el modelo de columna. Esa es información que la canalización puede usar para enrutar la página 10 a un analizador que tenga en cuenta el diseño.
3.2.2. Huella digital de mesa plana, capturada en la Mesa 3
Cuando PyMuPDF aplana una tabla, las celdas caen en sus propias líneas con cuadros b estrechos inmediatamente después del título "Tabla N: …".
La huella digital es concreta: en la página 9, las líneas 5 a 20 contienen los encabezados de la tabla divididos en dos filas físicas de bboxes, y las líneas 21 a 33 contienen las 13 celdas de la fila base, cada una en su propia línea. Las celdas son cortas (de 1 a 4 caracteres), estrechas (menos de 30 puntos PDF de ancho) y están agrupadas verticalmente en una banda apretada justo después del título "Tabla 3:…". Una verificación que cuenta esas propiedades en line_df[page_num=9] y activa un indicador booleano se ejecuta en O(n_lines) sin ninguna llamada LLM. La tabla 3 queda atrapada en este control.
3.2.3. Regiones de figuras opacas, capturadas en la Figura 1
PyMuPDF informa los bboxes de imágenes en el momento de la extracción a través de page.get_image_info(). Si una página tiene una imagen y el texto extraído dentro de su bbox está vacío, el cuerpo de la figura no sobrevivió al análisis.
La verificación es la misma que la verificación de densidad previa al análisis, pero más precisa: en lugar de notar que la página tiene menos caracteres, señala un rectángulo específico con cero caracteres. La figura 1 queda atrapada en este control. (El análisis previo también lo detecta, de manera más económica; la verificación 2 lo confirma y agrega el bbox que necesitará el siguiente analizador).
3.2.4. Orden de lectura de varias columnas, capturado en papel BERT
El documento de Atención tiene una sola columna, por lo que no puede ilustrar esta verificación. Intercambiamos BERT (1810.04805), que es el formato estándar de dos columnas de ACL. asignar_column_positions agrupa las coordenadas x de la línea por página y etiqueta cada línea como "izquierda" / "derecha" / "única" / "múltiple". Sin punto medio codificado, la división se calcula a partir de la distribución de líneas real. Cuando PyMuPDF recorre geométricamente una página de este tipo, puede intercalar oraciones a través del límite de la columna; las etiquetas de las columnas permiten que la canalización (o un analizador más profundo) restaure el orden de lectura correcto.
3.2.5. En conjunto: una función, tres banderas
pre = pre_parse_signals("data/paper/1706.03762v7.pdf") line_df = fitz_pdf_to_line_df("data/paper/1706.03762v7.pdf") # Tres páginas, tres señales, sin llamada de LLM page_level_parsing_signals(line_df, page_num=3, pre_signals=pre) # {'page_num': 3, 'flat_table': False, 'opaque_figure': True, # 'col_anomaly': False, 'reasons': ['opaque_figure'], 'escalate': True} page_level_parsing_signals(line_df, page_num=9, pre_signals=pre) # {'page_num': 9, 'flat_table': True, 'opaque_figure': Falso, # 'col_anomaly': Falso, 'razones': ['table_plano'], 'escalar': Verdadero} page_level_parsing_signals(line_df, page_num=10, pre_signals=pre) # {'page_num': 10, 'flat_table': Verdadero, 'opaque_figure': Falso, # 'col_anomaly': Verdadero, 'razones': ['table_plano', 'col_anomaly_3'], # 'escalar': Verdadero}
Al final de la verificación 2, tanto la Tabla 3 como la Figura 1 están marcadas para escalamiento sin una sola llamada LLM. El proceso podría enriquecer ambas páginas con el analizador más profundo adecuado ahora, incluso antes de que comience la recuperación. Las comprobaciones restantes del proceso (recuperación, generación, posgeneración) se convierten en redes de seguridad de último recurso, no en el principal mecanismo de detección.
3.3. Comprobación 3: análisis posterior (integridad de fragmentos, orden de lectura)
Una vez creado line_df, la canalización lo fragmenta para su recuperación. Un fragmento que corta a mitad de la frase o a mitad de la fila de la tabla lleva un fragment_integrity_score bajo que las indicaciones posteriores pueden leer. Surya y PaddleStructure exponen esto directamente; solo con line_df podemos calcularlo a partir de números de línea y bboxes (puntuación al final de la oración en la última línea, alineación de la fila de la tabla dentro del fragmento).
La puntuación es determinista, barata y se activa antes de cualquier llamada de recuperación. El artículo no desarrolla un ejemplo práctico para el control 3 porque tanto el caso A como el caso B ya están atrapados en los controles 1 y 2; Lo mencionamos aquí para que el panorama sea completo.
4. Análisis de preguntas: enrutamiento por intención
El análisis de preguntas convierte la pregunta en una pregunta analizada escrita (Artículo 6) y la utiliza para enrutar la cascada. Aquí hay dos comprobaciones: la verificación 4 (enrutamiento de intención, una pequeña llamada de LLM sobre la pregunta) y la verificación 9 (comentarios de los usuarios, un bucle lento impulsado por humanos que refina la verificación 4 con el tiempo).
4.1. Comprobación 4: enrutamiento por intención
“En el cuadro 3”, “qué porcentaje”, “según el artículo 5” indican que la respuesta se encuentra en una región estructurada. Dirija directamente a la recuperación basada en tablas, omita las incrustaciones de prosa. El artículo 6 defendía la necesidad de analizar la pregunta en un objeto mecanografiado; el enrutamiento intencional es una de sus ventajas. El costo de este cheque es una pequeña llamada de LLM sobre la pregunta (unos pocos centavos por cada mil preguntas). La ganancia de calidad: la tubería dirige las preguntas de la Tabla 3 a un analizador que reconoce la tabla sin necesidad de que el LLM en el control 7 se dé cuenta de que la tabla estaba aplanada.
4.2. Comprobación 9: comentarios de los usuarios y conjunto dorado
La verificación 9 es la verificación de bucle largo: una pregunta que el usuario vuelve a hacer con una redacción ligeramente diferente, un conjunto dorado que se desplaza con el tiempo, un experto señala una respuesta incorrecta. Ninguno de estos se activa dentro de una única ejecución de canalización, pero refinan el analizador de preguntas (e, indirectamente, todas las comprobaciones que siguen). Concretamente: una reformulación recurrente capturada en expert_keywords_df (Artículo 6) se agrega al enrutador de preguntas, y la siguiente pregunta que utiliza esa frase se clasifica correctamente sin que el usuario tenga que volver a escribirla. El costo de esta verificación es el tiempo humano dedicado a la curación del conjunto dorado; los compuestos de ganancia de calidad.
5. Recuperación: brecha de puntuación y comprobaciones de montaje.
La recuperación toma la pregunta analizada y el corpus analizado y devuelve un pequeño conjunto de fragmentos candidatos. Aquí se activan dos comprobaciones, ambas deterministas y ambas que se ejecutan en cantidades que el bloque de recuperación ya calculó.
5.1. Comprobación 5: brecha de puntuación y diversidad de fuentes
El coseno superior 1 de 0,45 es un ancla deficiente. El top 1 de 0,85 con el top 2 de 0,83 es ambigüedad. Ambos deterministas, ambos disparan antes de la generación. El desacuerdo del reordenador con el bicodificador es en sí mismo una señal de segundo orden. El costo es el cálculo del coseno ya realizado mediante recuperación; la ganancia en calidad está captando preguntas que no llegaron a ningún lado.
5.2. Comprobación 6: ensamblaje del contexto (lagunas y contradicciones)
Una vez seleccionados los fragmentos candidatos, una última comprobación determinista los compara con el alcance analizado de la pregunta. La pregunta cubre 2020-2024, los fragmentos cubren 2020-2022: la brecha es detectable antes de la convocatoria de LLM. Lo mismo ocurre con los fragmentos que se contradicen entre sí en un hecho clave. Estas comprobaciones se ejecutan en milisegundos y se omiten sólo a costa de respuestas posteriores propensas a la falsificación.
5.3. Granularidad de incrustación adaptable: página predeterminada, línea bajo demanda
La misma lógica de “barato luego rico” que aplica la cascada al análisis también se aplica a la incrustación. El análisis produjo page_df y line_df (el artículo 5, sección 3.2, decía "line_df mantiene la puerta abierta" sobre esto); la recuperación ahora decide qué granularidad incrustar y cuándo.
El valor predeterminado es el nivel de página. Un vector por fila page_df, coseno respecto al vector de la pregunta, seleccionadas las K páginas principales. Barato, persistente y recuperable en milisegundos en corpus de hasta decenas de miles de páginas. Un contrato empresarial típico tiene de veinte a doscientas páginas; un corpus de 500 documentos contiene entre cuarenta y cien mil vectores de páginas, dentro de un coseno en memoria. Esto es lo que usa la canalización mínima del Artículo 1 (RAG mínimo), y lo que la mayoría de la recuperación de producción todavía usa cuando la respuesta tiene claramente la forma de una página.
El nivel de línea en todo el corpus es el valor predeterminado incorrecto. Una página tiene un promedio de 30 a 80 filas line_df en un contrato, de 50 a 120 en un trabajo de investigación, a veces 200 en un PDF aplanado con muchas tablas. Incrustar cada línea en el corpus completo multiplica el recuento de vectores por ese factor: cuarenta mil vectores de página se convierten entre dos y diez millones de vectores de línea. El costo se muestra en dos ejes: cálculo en el momento del índice (una llamada API o un pase de modelo por línea, frente a un presupuesto dimensionado para páginas) y almacenamiento en el momento de la consulta (el coseno en memoria ya no encaja y la recuperación cae a una base de datos vectorial con latencia no trivial). Para los corpus que se ajustan al nivel de página en una computadora portátil, el nivel de línea lleva la implementación a un almacén de vectores dedicado y cambia el ámbito de las operaciones.
El patrón de escalamiento: página-luego-línea, solo para las K páginas principales. Cuando se activa la verificación 5 a nivel de página (la brecha de puntuación es demasiado pequeña, los candidatos son ambiguos o la página superior es larga y la respuesta está en una línea dentro de ella), el bloque de recuperación vuelve a pasar a una segunda pasada. Solo para las K páginas principales, incruste cada línea en esas páginas (unos pocos cientos de vectores, no millones), ejecute el coseno en la pregunta nuevamente y seleccione las líneas superiores. El resultado es un ancla a nivel de línea dentro de un alcance a nivel de página. El artículo 7 desarrolla el desglose de página y línea con ejemplos resueltos; La misma operación aquí se convierte en una verificación en cascada: el nivel de página pasó pero no convergió, por lo que se escala al nivel de línea en los candidatos supervivientes.
La forma de costos de esta escalada es limitada. Si la recuperación a nivel de página arroja cinco páginas candidatas y cada página tiene cincuenta líneas, el desglose incluye 250 líneas por pregunta. A velocidades de alrededor de veinte mil incrustaciones de líneas por segundo en un modelo local, la latencia adicional es de unos pocos cientos de milisegundos. Los vectores se calculan sobre la marcha y no persisten: esta es la diferencia clave con la indexación entusiasta a nivel de línea. La escalada paga sólo por las páginas candidatas, sólo por las preguntas que la desencadenaron. La mayoría de las preguntas nunca llegan a esta sucursal.
Cuándo persistir también los vectores a nivel de línea. Dos casos ganan el costo de almacenamiento. Primero, corpus donde casi todas las preguntas tienen forma de línea (listas de verificación de auditoría contra documentos de cumplimiento extensos, comparación de reclamos con expedientes de casos, búsqueda de cláusulas de contrato): el índice de líneas ansioso se amortiza en todas las consultas y la cascada colapsa en una recuperación de una sola vez. En segundo lugar, los corpus en los que el coseno a nivel de página falla sistemáticamente en la brecha de Verificación 5 (preguntas cuya respuesta está enterrada en páginas largas y mixtas donde la señal a nivel de página se promedia): el índice de línea ansioso evita la reintegración por pregunta.
El patrón es la cascada de análisis transpuesta a incrustaciones. De forma predeterminada, se utiliza la granularidad barata (vectores a nivel de página de page_df), y se profundiza hasta la rica solo cuando se activa una verificación (vectores a nivel de línea sobre los candidatos supervivientes de line_df). El mismo modelo de datos, los mismos artefactos persistentes, la misma propiedad operativa: nada paga el costo de los ricos a menos que el pase barato así lo indique.
6. Conclusión
La cascada convierte la calidad del análisis en una secuencia de preguntas baratas. El análisis previo de los metadatos enruta la mayor parte del corpus antes de que se ejecute cualquier extracción. Las huellas dactilares en tiempo de análisis señalan tablas planas y figuras opacas de la propia producción de PyMuPDF. El enrutamiento intencional y la recuperación de la brecha de puntuación en los casos en que la salida del analizador por sí sola no puede. Cada verificación es determinista, gratuita y se ejecuta en milisegundos, y cada una de las que se activa puede enrutar una sola página a un analizador más profundo.
Una columna, parsing_method, hace que todo sea auditable: la escalada agrega filas, nunca sobrescribe, por lo que una página puede llevar su análisis PyMuPDF y su análisis Azure uno al lado del otro. Lo que ninguno de estos cheques baratos puede detectar es la falla que solo aparece cuando el LLM intenta usar el texto. Esa última línea de defensa, y las dos escaladas recorridas de extremo a extremo (de una mesa plana a Azure, de una figura a un LLM de visión), son la segunda parte: Ingeniería de bucle con análisis adaptativo en acción: análisis de tablas planas con Azure y figuras con un LLM de visión (enlace por venir).
7. Fuentes y lecturas adicionales
La referencia de lo que hace el análisis avanzado y su costo por página es Docling (Auer et al., Docling Technical Report, 2024). La extracción de tablas como un problema separado de la extracción de texto está fundamentada por Smock et al. (PubTables-1M / Transformador de mesa, CVPR 2022). El nivel de costo de visión-LLM por página (~5-30 segundos en una GPU) es de Blecher et al. (Turrón, Meta 2023). El patrón LLM como señal de retroalimentación que el artículo utiliza para impulsar la escalada pertenece a la misma familia que Asai et al. (Auto-RAG, ICLR 2024). El artículo informa un resultado negativo concreto de una prueba de estrés de 18 ejecuciones: la autoevaluación de LLM como veredicto de calidad del analizador binario no es confiable por sí sola; una verificación de conexión a tierra LLM separada en la respuesta producida detecta lo que la señal en el bucle pierde.
Al principio de la serie:
Qué funciona, qué se rompe
El Enterprise RAG mínimo que nunca miente sobre su fuente: PDF de entrada, respuesta resaltada de salida. El canal de cuatro ladrillos de un extremo a otro: PDF de entrada, respuesta resaltada de salida. Las incrustaciones no son mágicas: los modos de falla predecibles de la recuperación de RAG. Dónde gana la incorporación de similitud (sinónimos, errores tipográficos, paráfrasis), dónde predeciblemente se rompe (términos desconocidos, negación, relevancia de término versus respuesta) y cómo usarlo de todos modos. RAG no es aprendizaje automático y el conjunto de herramientas de ML resuelve el problema equivocado. Por qué los barridos y ajustes de tamaño de fragmentos optimizan lo incorrecto; en su lugar, ruta por tipo de pregunta. De expresiones regulares a modelos de visión: qué técnica RAG se adapta a qué problema. Dos ejes, complejidad documental y control de preguntas, que seleccionan la técnica para cada caso.
Análisis de documentos
Más allá de extract_text: las dos capas de un PDF que impulsan la calidad RAG. La primera mitad del bloque de análisis: la naturaleza del documento, las señales y el resumen. Deje de devolver texto plano desde un PDF: las tablas relacionales que RAG necesita. La segunda mitad del bloque de análisis: las tablas relacionales que lee cada bloque posterior. Cuando PyMuPDF no puede ver la tabla: analice archivos PDF para RAG con Azure Layout. Las mismas tablas de Azure Layout: celdas de tabla nativas, OCR, roles de párrafo. Analice archivos PDF para RAG localmente con Docling: tablas enriquecidas, sin carga en la nube. Las mismas tablas calculadas localmente con Docling: celdas de TableFormer, nada sale de la máquina. Los Vision LLM también son analizadores de PDF: leen cuadros y diagramas para RAG. Visión como analizador: las imágenes se convierten en texto buscable. Analice archivos PDF escaneados para RAG con EasyOCR: el OCR gratuito le proporciona palabras, no un documento. Donde termina el OCR tradicional: texto recuperado, estructura perdida. Hacer que las imágenes de un PDF puedan buscarse en RAG, sin pagar para leerlas todas. La cascada de imágenes: filtrar barato, clasificar, describir sólo lo que vale la pena leer. Reconstruir la tabla de contenido que un PDF olvidó enviar, para que RAG pueda analizarlo por sección. Reconstruir toc_df cuando el PDF imprime una página de contenido pero no incluye ningún esquema.
análisis de preguntas
Las preguntas de RAG también deben analizarse: convierta la cadena del usuario en resúmenes para su recuperación y generación. La tesis del análisis de preguntas: por qué una cadena de usuario necesita el mismo análisis que un documento y cómo se divide en un resumen de recuperación y un resumen de generación. Lo que el analizador de preguntas extrae de una cadena de usuario: palabras clave, alcance, forma, descomposición, aclaración. Las cinco familias de columnas que el analizador lee directamente de la pregunta del usuario, con el código que completa cada una. Envío de la pregunta RAG analizada: estrategia de fragmentos, nivel de modelo, activaciones, auditoría. Las decisiones que toma el analizador sobre la cadena de usuario, utilizando el perfil del documento: envío, activaciones, esquema completo, seguimiento de auditoría (pipeline_trace.json) y un recorrido por el corpus del corredor.
Recuperación
Generación
Haga que la generación RAG devuelva un contrato mecanografiado: citas, valores mecanografiados y autoverificaciones (enlace por venir). El esquema de respuesta como contrato: valores escritos, elementos con tramos de evidencia, campos de autoevaluación y la señal de integridad que el propio proceso calcula. Reúna cada mensaje de generación de RAG a partir de un mensaje básico más las reglas que cada pregunta necesita (enlace a continuación). El despachador: un mensaje BASE fijo más las reglas que necesita cada pregunta, el esquema seleccionado del registro y el seguimiento completo de cada llamada. Validar la respuesta de RAG antes de que el usuario la vea: intervalos, citas y ciclo de retroalimentación (enlace por venir). El validador de posgeneración (intervalos, citas textuales, formatos), no encontrado como respuesta de primera clase y los bucles de retroalimentación que cierran el proceso.
Canalizaciones de un solo documento
Un canal de producción RAG para archivos PDF: análisis relacional, recuperación de TOC, respuestas escritas (enlace por venir). Cada uno de los cuatro ladrillos actualizó un contrato a la vez: análisis relacional, preguntas basadas en corpus, recuperación enrutada por TOC, respuestas escritas. Detenga las alucinaciones de RAG con ingeniería de contexto: un canal, cuatro archivos PDF muy diferentes (enlace a continuación). Los cuatro bloques mejorados conectados en una sola llamada, se ejecutan de un extremo a otro en un papel, un documento de cumplimiento y un documento TOC roto.
Misma dirección que el artículo:
Auer et al., Informe técnico Docling, IBM Research 2024 (arXiv:2408.09869). Qué hace el análisis avanzado y cuánto cuesta. Smock, Pesala, Abraham, PubTables-1M / Table Transformer (TATR), CVPR 2022 (arXiv:2110.00061). La extracción de tablas es un problema independiente de la extracción de texto. Respalda el argumento a favor de escalar selectivamente las tablas. Blecher et al., Nougat: comprensión óptica neuronal para documentos académicos, Meta 2023 (arXiv:2308.13418). Punto de referencia para el nivel de costo de vision-LLM: alrededor de 5 a 30 segundos por página en una GPU. Asai et al., Self-RAG: Aprender a recuperar, generar y criticar a través de la autorreflexión, ICLR 2024 (arXiv:2310.11511). El patrón LLM como señal de retroalimentación que el artículo utiliza para impulsar la escalada pertenece a la misma familia.
Ángulo diferente, contexto diferente:
Faysse et al., ColPali: Recuperación eficiente de documentos con modelos de lenguaje visual, 2024 (arXiv:2407.01449). Modelo visión-lenguaje sobre la imagen de la página. El contexto es una recuperación donde la imagen de la página en sí es el artefacto, lo que hace que la distinción entre texto y tablas sea menos relevante. A diferencia de la primera cascada determinista por página que se defiende aquí. Wang et al., DocLLM: un modelo de lenguaje generativo compatible con el diseño para la comprensión de documentos multimodales, JPMorgan 2024 (arXiv:2401.00908). LLM compatible con el diseño que procesa todo el documento sin un nivel de analizador ascendente. Misma familia que ColPali. Kim et al., Transformador de comprensión de documentos sin OCR (Donut), ECCV 2022 (arXiv:2111.15664). Comprensión de documentos sin OCR de extremo a extremo; contraste útil con el nivel de escalada de puntuación de calidad de OCR que describe el artículo.