La recuperación es filtrado, no búsqueda: un modelo mental para Enterprise RAG

ladrillo de Enterprise Document Intelligence, una serie que construye un sistema RAG empresarial a partir de cuatro ladrillos: análisis, análisis de preguntas, recuperación y generación. La recuperación es el tercer ladrillo, y ésta es la primera de sus tres partes, el modelo mental: la recuperación es filtrar, no buscar; filtrar line_df y toc_df, seleccionar anclajes pequeños, expandir el contexto grande.

Dónde se ubica este artículo en la serie: Artículo 7 (recuperación), la parte del modelo mental, dentro de la Parte II (los cuatro ladrillos) – Imagen del autor

Observe cómo un humano busca un documento.

Alguien en el trabajo quiere saber cuántos días de vacaciones tendrá este año. Abren el PDF de la política de recursos humanos. Presionan Ctrl+F. Escriben "vacaciones". Pasan quince visitas, algunas en los títulos, otras en el TOC. Saltan al párrafo correcto, leen la regla y obtienen la respuesta en 60 segundos.

No es un novato que lo haga mal. Se trata de un profesional que lo hace de la manera más eficiente que conoce: palabras clave que sabe que están en el documento, el TOC que el autor ya escribió, leyendo una sección completa cuando sospecha que es la correcta. ¿En qué parte de este proceso está la “incrustación de similitud”? En ningún lugar.

A veces Ctrl+F no encuentra nada: el documento lo llama "PTO", no "vacaciones". O el texto se encuentra dentro de una página escaneada que Ctrl+F no puede ver. El experto prueba un sinónimo y luego un tercero. Todavía cero aciertos.

Luego el experto abre el índice. Escanean los títulos de las secciones, hacen clic en el más probable (“Salir y tiempo libre”) y leen el cuerpo. Ese recurso alternativo (palabra clave primero, navegación TOC cuando la palabra clave falla) es lo que se ha realizado en el trabajo documental profesional durante treinta años.

Este artículo (el primero de tres) construye el modelo mental detrás de ese flujo de trabajo: la recuperación es un problema de filtrado en dos tablas estructuradas (line_df y toc_df), no un problema de búsqueda. También introduce la distinción ancla/contexto (dónde llega la coincidencia versus lo que se pasa a la generación) sobre la que se basan los otros dos artículos. La mecánica de la canalización (“Detección de anclaje para RAG: detectores paralelos, luego una llamada de LLM al final”) y el árbitro que clasifica los resultados (“Dejar que un LLM elija la página RAG correcta: el patrón de árbitro al final de la recuperación”) viene a continuación.

La postura de “amplificar al experto”: codificar el flujo de trabajo del experto y luego hacerlo mejor de lo que ellos pueden hacerlo manualmente. Tres ascensores de hormigón:

El experto escribe una palabra clave a la vez. El sistema puede detectar la coexistencia de varias palabras clave en la misma página o sección en una sola pasada. El experto no ve nada cuando las palabras están encerradas en imágenes escaneadas. El bloque de análisis ejecuta OCR en el momento de la ingesta, por lo que el texto vinculado a una imagen se puede buscar como cualquier otra línea. El experto escanea el TOC manualmente. El sistema une TOC y contenido mediante programación: seleccione la sección correcta del mapa, luego busque la palabra clave dentro del cuerpo de esa sección.

Cada punto débil de un experto se asigna a un impulso programático: imagen del autor

Una vez que el bloque de análisis ha producido DataFrames limpios, la recuperación se convierte en un problema de filtrado en tablas estructuradas: filtra line_df (el texto) y toc_df (el mapa). Este artículo desarrolla ese modelo mental. Los dos artículos siguientes desarrollan la mecánica desde arriba.

A lo largo de este artículo trabajamos en un solo documento, Attention Is All You Need (Vaswani et al. 2017, 15 páginas; licencia de distribución no exclusiva de arXiv, declarada en la página de resumen de arXiv). Incluye un TOC nativo limpio en el esquema del PDF (22 entradas, 3 niveles de profundidad) y el contenido es un territorio familiar para cualquier ingeniero que toque RAG: codificador, decodificador, atención, consultas, claves, valores. Esto mantiene el foco en los métodos de recuperación en lugar de analizar un corpus de dominio específico. Este artículo también asume que el documento lleva su propio TOC; recuperar uno a partir de texto sin formato se deja para el trabajo de seguimiento.

Todos los métodos de este artículo comienzan desde line_df y toc_df – Imagen del autor

1. Recuperación como filtrado en tablas estructuradas

El marco estándar de recuperación es encontrar los pasajes más similares a la consulta. Ese marco es engañoso porque importa el modelo mental equivocado.

Una vez que el análisis ha producido DataFrames limpios, la recuperación ya no es un problema de búsqueda en el sentido clásico. Es un problema de filtrado en tablas estructuradas. Cada método que analizamos es una forma diferente de filtrar filas de line_df (el texto del documento) y toc_df (el mapa del documento). El modelo mental está más cerca de una consulta SQL que de una búsqueda en Google.

Este cambio desbloquea métodos que no aparecen cuando se trata la recuperación como una búsqueda de texto libre:

Puede filtrar por columnas: solo líneas en la sección X, solo líneas que coincidan con una expresión regular, solo fragmentos cuya incrustación esté cerca de la consulta, solo títulos cuyas palabras se crucen con las palabras clave de la pregunta. Puede unir tablas: detecte una palabra clave en line_df, luego busque la sección a la que pertenece esa línea en toc_df, luego pondere la puntuación según si el título de la sección también es relevante. Puede ejecutar un filtrado LLM ligero en las tablas pequeñas (un toc_df con 50 entradas) donde no puede ejecutarlo en las grandes (un line_df con 12.000 líneas, demasiados tokens para una sola llamada).

El bloque de análisis produce DataFrames estructurados: line_df transporta el contenido textual con números de línea, coordenadas de página e ID de sección; toc_df lleva la tabla de contenidos como una jerarquía navegable; page_df e image_df completan el modelo de datos. El documento ya no es texto libre cuando se ejecuta la recuperación.

El lado de la pregunta llega igualmente preprocesado. El bloque de análisis de preguntas convierte la cadena del usuario en un resumen de RetrievalQuery (una vista derivada de ParsedQuestion) que contiene las palabras clave, los filtros de alcance, las sugerencias estructurales y el ancho del contexto de respuesta que la recuperación debe respetar. Retrieval lee un objeto escrito en cada lado: el documento como tablas a la izquierda, RetrievalQuery a la derecha.

Nada de esto es exótico. Es lo que hacen los equipos cuando se sientan con un documento real y una pregunta real. Pero es invisible en el marco del tutorial estándar porque ese marco supone "documento = cadena no estructurada, recuperación = búsqueda vectorial".

1.1 Los documentos se convierten en tablas.

Dos DataFrames del bloque de análisis soportan la mayor parte de la carga de recuperación. Sus tamaños determinan qué métodos de filtrado son posibles en cada uno.

line_df, la tabla densa: una fila por línea del documento, decenas de miles de filas para un contrato largo. Las columnas incluyen el texto, el número de página, el número de línea de la página, el cuadro delimitador y el ID de sección que vincula cada línea a su sección en toc_df. Denso, grande, de grano fino: cada línea es candidata, por lo que el filtrado por fila debe ser económico. Aquí es donde reside la respuesta: el texto real que el LLM leerá y citará proviene de aquí.

toc_df, la tabla dispersa: una fila por sección en la tabla de contenido, normalmente de 20 a 100 filas para la mayoría de los documentos empresariales, a veces tan solo 10. Las columnas incluyen el título de la sección, el nivel (1, 2, 3…), el rango de páginas, la sección principal y un ID de sección estable. Escaso, pequeño y de grano grueso: cada fila cubre un bloque grande del documento, por lo que el filtrado por fila puede resultar costoso. Este es el mapa de dónde podría estar la respuesta: le indica en qué sección buscar, no lo que dice la sección.

La diferencia de tamaño entre estas dos tablas remodela toda la cuadrícula. Un método que es factible en toc_df (pasar toda la tabla a un LLM, incrustar cada entrada, ejecutar razonamiento de múltiples saltos) puede ser completamente inviable en line_df. Por el contrario, un método que es natural en line_df (expresión regular de miles de líneas, puntuación rápida de palabras clave) es un desperdicio en toc_df porque no hay suficientes datos para discriminar.

Un buen canal de recuperación utiliza ambos. Utiliza toc_df para limitar la sección correcta, luego line_df para encontrar las líneas precisas dentro de esa sección. Las dos tablas colaboran a través de la unión section_id.

1.2 Por qué ningún método es suficiente

Cuatro preguntas reales sobre un contrato de seguro muestran por qué ningún filtro ni granularidad son suficientes. Cada pregunta quiere un alcance diferente en dos niveles: el ancla (donde llega la señal coincidente en el documento) y el contexto (lo que se pasa al LLM alrededor de ese ancla). La sección 2 desarrolla ambos términos; por ahora sólo observe cómo varían entre las cuatro preguntas.

“¿Cuál es el número de póliza?” Una aguja en un pajar. El ancla es un token específico, probablemente en el encabezado. El contexto es la página 1, quizás 5 líneas. "¿Cuál es la prima anual?" Una búsqueda de puntos. El ancla es una cláusula que menciona “prima” o “prime” o “cotización”, con un importe. El contexto es la sección que contiene esa cláusula, quizás de 50 a 200 líneas. “¿Cuáles son todas las obligaciones del vendedor?” Una pregunta de listado. Las anclas son múltiples pasajes, dispersos a lo largo del documento. El contexto es toda la sección “Obligaciones” si existe, más cualquier otra sección que contenga una obligación. Quizás entre 500 y 2000 líneas. "Resumir la sección de garantía". Síntesis con alcance. El ancla es el título de la sección de garantía en toc_df. El contexto es el cuerpo de la sección de garantía, de forma exhaustiva. Quizás entre 200 y 1500 líneas.

Una canalización que utiliza similitud de coseno con top-k=5 (devuelve los 5 fragmentos más cercanos por puntuación) para los cuatro casos será incorrecta en al menos tres. La respuesta correcta depende de qué estructura filtre, en qué columna filtre, en qué ancla detecte y en qué contexto pase en sentido descendente. El resto del artículo desarrolla esa cuadrícula.

La primera pregunta de la lista, “¿Cuál es el número de póliza?”, es exactamente lo que prueba el punto de referencia Needle-in-a-Haystack (Kamradt, 2023, github.com/gkamradt/LLMTest_NeedleInAHaystack). Coloque una oración palabra por palabra en un contexto largo, pregunte sobre ella y observe cómo el modelo la encuentra. Los modelos Frontier obtienen una puntuación casi perfecta. El punto de referencia es real, el resultado es real.

La trampa es generalizar a partir de ello. "Omitir la recuperación, volcar el corpus en contexto" funciona en la categoría 1 y falla en las categorías 2, 3, 4. Enumerar todas las obligaciones en un contrato no es una sola aguja. Comparar las primas de tres pólizas no es una sola aguja. Resumir un apartado de garantía sin perder nada no es una sola aguja.

El punto de referencia valida una clase de preguntas, no las otras tres. Es un resultado de investigación para una tarea de recuperación aislada, no una licencia para omitir la recuperación en producción.

Para concretar el contraste, aquí está la ingenua línea de base de RAG que muestran la mayoría de los tutoriales, aplicada al documento en ejecución. Elegimos una pregunta representativa: "¿Cómo se calcula la atención?". La respuesta es el cuadro de fórmula de la sección 3.2. Luego ejecutamos coseno top-k contra las incrustaciones de páginas.

Cinco páginas clasificadas por similitud, sin contexto de sección, sin ruta "no encontrada" – Imagen del autor

El resto de este artículo son métodos que superan esta línea de base explotando el análisis de estructura ya extraído.

2. Ancla y contexto: las dos granularidades

Filtrar filas es la mitad del panorama. La otra mitad es igual de fundamental: el ancla (la fila donde se detecta la señal) y el contexto (el fragmento que se pasa a la generación) no son la misma unidad. La terminología ancla es local para este artículo; La literatura adyacente utiliza impacto en IR, desencadenante en extracción de información o período de evidencia en control de calidad, todo para la misma idea. Mantenemos el ancla porque combina naturalmente con el contexto.

La recuperación se ejecuta en dos fases. La fase 1 encuentra dónde reside la respuesta: la detección de palabras clave y las incrustaciones se ejecutan en line_df y toc_df, un LLM clasifica a los candidatos una vez al final y el resultado es un pequeño conjunto de anclajes (sección, página o líneas). La fase 2 dimensiona el contexto alrededor de cada ancla: párrafo, sección o una ventana de N líneas, según la intención de la pregunta y el ancho del alcance (ya analizado en el lado de la pregunta). El artículo 7B (detección de anclaje) desarrolla los detectores de la fase 1 y el artículo 7C (el árbitro LLM) desarrolla el árbitro que los clasifica; La sección 2.4 a continuación desarrolla la fase 2.

La fase 1 encuentra anclas; La fase 2 dimensiona el contexto alrededor de cada ancla – Imagen del autor

Un oficial de cumplimiento que busca “responsabilidad” con Ctrl+F llega a una sola línea coincidente. Nunca leyeron solo esa línea. Leen el párrafo circundante, a menudo toda la sección. El ancla es una línea; el contexto es cientos.

Concretamente: puede anclar en una sola línea de line_df que menciona "premium", pero pasa toda la sección circundante a la generación para que el LLM vea el valor en contexto. Puede anclar en un título toc_df (“Sección 5: Exclusiones específicas”), pero el contexto son las líneas del cuerpo de toda la sección desde line_df. Las dos granularidades son decisiones de diseño independientes:

Alcance del ancla (pequeño, preciso): línea, título, oración. Esto es lo que puntúas y clasificas. Las anclas más pequeñas dan señales más limpias. Alcance del contexto (grande, suficiente): párrafo, sección, ventana de N líneas. Esto es lo que lee la generación. Los contextos más amplios protegen contra la evidencia fragmentada.

Colapsar los dos alcances, detectar a nivel de fragmento y pasar el mismo fragmento aguas abajo es el error más común en las tuberías RAG. Pierde precisión (los fragmentos son demasiado toscos para un anclaje de grano fino) y riqueza (los fragmentos son demasiado estrechos para fundamentar la respuesta). El resto del artículo mantiene los dos ámbitos separados en cada paso.

2.1 Alcance del ancla: dónde buscar la señal

Cuando busca "exclusión", ¿qué unidad del documento califica?

¿Una línea? Coincide si la palabra aparece en esta línea. ¿Un párrafo? Coincide si la palabra aparece en cualquier lugar de este párrafo. ¿Un título de sección? Coincide si la palabra aparece en el título de una sección. ¿Un cuerpo de sección? Coincide si la palabra aparece en cualquier parte del texto de la sección.

La misma palabra en diferentes ámbitos de anclaje da resultados muy diferentes. Un ancla a nivel de título es mucho más selectiva y precisa que un ancla a nivel de cuerpo en un documento largo.

2.2 Alcance del contexto: qué extraer del partido

Una vez que se encuentra un ancla, ¿qué se transmite a la generación?

¿Solo la línea coincidente? Raro, normalmente demasiado estrecho. ¿El párrafo circundante? ¿Toda la sección a la que pertenece el partido? ¿Una ventana de N líneas antes y después?

Una sola coincidencia en line_df rara vez genera una respuesta utilizable por sí sola. El paso de expansión es lo que convierte un éxito en contexto.

Los dos ámbitos son independientes. Puede anclar a nivel de línea y extraer a nivel de sección. Puede anclar en los títulos de las secciones y extraerlos del cuerpo de la sección. Cada combinación tiene su uso:

Cinco pares recurrentes de ancla/contexto; anclar lo pequeño, expandirlo a un contexto más amplio – Imagen del autor

Un ejemplo concreto. Un usuario pregunta "¿Cuáles son las exclusiones de daños por inundaciones?". La palabra clave “exclusión” está anclada en toc_df a nivel de título, en la entrada “Sección 5: Exclusiones específicas”. Este único título no es la respuesta; es el mapa. Luego, la extracción de contexto toma toda la sección 5 de line_df, porque las exclusiones reales se enumeran en el cuerpo.

Anclar en toc_df, expandir a line_df: dos ámbitos, dos tablas, una respuesta – Imagen del autor

El ancla se encontró en un toc_df de 50 filas. La extracción de contexto se une nuevamente a line_df para obtener el contenido real. Las dos estructuras colaboran y la respuesta es el producto unido.

Mantener los dos visores separados hace que la recuperación sea precisa en lugar de aproximada. La implementación canónica, detect_then_extract, se desarrolla en el Artículo 7B (detección de anclaje) junto con las otras combinaciones.

2.3 Tipos de preguntas y opciones de alcance

Cinco tipos de preguntas recurrentes, cada una con su ancla y alcance de contexto preferidos.

Extracción de campo: “¿Cuál es la fecha de vigencia?” Ancle en una línea donde se encuentre un patrón de fecha junto a "fecha de entrada en vigor" o "inicio". El contexto es la página, suficiente para confirmar el campo correcto.

Recuperación de sección: “¿Cuáles son las exclusiones?” Ancla en el título de la sección “Exclusiones”. El contexto es el cuerpo de la sección, desde el encabezado hasta el siguiente.

Búsqueda condicional: "¿Este contrato cubre inundaciones?" Ancla en la línea que contiene “inundación”. El contexto es la sección circundante, necesaria para confirmar si el tema está cubierto o excluido.

Abierto, de alcance: "Resumir las obligaciones del vendedor". Ancla en el título de una sección (“obligaciones”, “vendedor”, “deberes”). El contexto es el cuerpo de la sección y se extiende potencialmente al documento más amplio.

De duración abierta, para todo el corpus: "¿Qué contratos tienen un límite de responsabilidad inferior a 1 millón de euros?" Ancla en líneas que contengan “límite de responsabilidad” con un monto. El contexto es el párrafo (para confirmar que la cantidad es el límite), más un filtro de metadatos a nivel de corpus según el tipo de documento.

El patrón es consistente: ancla pequeña, expande para contexto. El line_df de nivel de línea del bloque de análisis proporciona granularidad al ancla. La página o sección proporciona el contexto. El TOC le indica dónde comienzan y terminan las secciones.

2.4 Del partido al contexto: tres estrategias de expansión

Un método de recuperación devuelve anclajes: ID de línea, ID de sección, ID de fragmento que obtuvo la puntuación más alta. Casi nunca los pasas directamente a la generación. Primero los expandes.

¿Por qué? Porque es difícil razonar sobre un solo ancla, de forma aislada. Toma este ancla:

“125.000€ al año”.

Sin contexto, el LLM no sabe a qué se refieren 125.000€. Con un párrafo de ampliación:

"La prima anual de la póliza queda fijada de la siguiente manera. El importe de la prima base es de 125.000 euros anuales. Podrá ajustarse de acuerdo con el apartado 3.4."

Tres estrategias de expansión cubren la mayoría de los casos.

Ampliación de párrafo: tome el párrafo que contiene la línea coincidente. Funciona para la mayoría de las tareas de control de calidad.

Ampliación de la sección: para preguntas enumeradas o de síntesis, expanda a la sección completa. Utilice toc_df para encontrar límites.

Ampliación de ventana: para documentos sin límites claros de párrafos o secciones (transcripciones, prosa larga), expanda a N líneas antes y después.

La elección depende de la pregunta (intención, forma de respuesta esperada) y del documento (¿tiene estructura de párrafos? ¿Secciones?). El despachador elige; la orquestación aplica la estrategia elegida de manera uniforme. Con uno de estos, el LLM puede responder correctamente y citar con precisión.

def expand_to_section(line_num, page_num, line_df, toc_df): Anchor_section_id = line_df.loc[ (line_df["line_num"] == line_num) & (line_df["page_num"] == page_num), "section_id", ].iloc[0]sec = toc_df[toc_df["section_id"] == Anchor_section_id].iloc[0]in_section = (line_df["page_num"] >= sec["start_page"]) & (line_df["page_num"] <= sec["end_page"]) return "n".join(line_df[in_section]["text"]) def expand_window(line_num, page_num, line_df, n=5): page_lines = line_df[line_df["page_num"] == page_num].reset_index(drop=True) i = page_lines.index[page_lines["line_num"] == line_num][0]return "n".join(page_lines.iloc[max(0, i – n): i + n + 1]["texto"])

Ejecute ambos en la primera línea del cuerpo de la página 4 (donde se encuentra la fórmula Atención (Q,K,V)) y aparecerá la diferencia entre los dos ámbitos:

Mismo ancla, dos estrategias de expansión: ventana de 7 líneas versus sección completa – Imagen del autor

2.5 Cuando no hay TOC: ¿dónde termina la sección?

La expansión de la sección es sencilla cuando toc_df proporciona el rango de páginas. El comienzo de la respuesta es el ancla, el final es la página de inicio de la siguiente entrada del TOC, no es necesario pensar. Cuando el documento no tiene TOC nativo ni sintetizado, ese enlace fácil desaparece. El final de la sección tiene que surgir del contenido mismo, y ese es uno de los problemas difíciles de la IA documental.

Un breve recorrido por lo que la investigación ha intentado.

Detección de encabezado en el momento del análisis: avance desde el ancla, deténgase en la siguiente línea que parece un encabezado (fuente más grande, negrita, expresión regular en “Sección X” o “Artículo X”). Sencillo, rápido y frágil en documentos que carecen de convenciones de encabezado visuales. TextTiling (Hearst, 1997): una ventana deslizante de similitud léxica. El límite se sitúa donde el vocabulario temático cambia bruscamente. Trabaja en prosa plana como transcripciones; ajustar el tamaño de la ventana es todo el juego. Segmentación basada en incrustación: la misma idea pero con vectores de oraciones. El límite es donde el coseno pasa un umbral aprendido. Llamadas de “corte aquí” del LLM: entregue al LLM una amplia ventana de avance, pregunte dónde termina el tema y obtenga un número de línea. El más preciso y el más caro por pregunta.

Cada uno de ellos es uno o tres artículos, con perillas de sintonización, modos de falla y folklore de referencia. Apilados juntos, realizan por su cuenta un pequeño proyecto de investigación.

Nuestra posición en esta serie: el LLM que ya tienes en generación hace este trabajo. El ladrillo generacional lee la recuperación de contexto que se le entregó y produce la respuesta. La misma llamada también puede informar si el contexto se salió del tema, si la respuesta continúa más allá de la ventana o si se necesita más contexto. Un canal integrado de seguimiento conecta esto nuevamente a un circuito de retroalimentación: la generación marca "el tema continúa más allá de la última línea que me mostraron", la recuperación extiende la ventana, la generación se vuelve a ejecutar. El límite se encuentra mediante el mismo modelo que usa el límite. Sin segunda maquinaria, sin segmentador que entrenar, sin umbral que calibrar.

El punto más amplio: la ingeniería de I+D y la ingeniería empresarial son trabajos diferentes. La detección de fin de sección tiene una bibliografía de investigación real. La mayoría de los equipos empresariales no necesitan resolverlo; necesitan un sistema que funcione en sus documentos reales con sus herramientas reales. La disciplina es preguntar, antes de recurrir a TextTiling o a un segmentador personalizado, si una llamada adicional de LLM habría hecho el mismo trabajo. Hoy en día, la respuesta suele ser sí. La inferencia de modelos grandes no es lo que era hace dos años: los precios han bajado en un orden de magnitud, la latencia es aceptable y un canal empresarial puede permitirse una llamada adicional por pregunta sobre un problema como este sin exceder el presupuesto. El oficio es claro: gastar en inferencias, no en una pila de segmentación personalizada que luego poseerás para siempre.

Esa no es una afirmación general de "use el LLM para todo". El costo sigue siendo importante, la latencia sigue siendo importante y una pequeña regla determinista supera a una llamada de LLM cuando la regla cubre el caso claramente. Pero la situación por defecto ha cambiado. I+D explora el espacio de las técnicas y las impulsa; La ingeniería empresarial elige la herramienta más sencilla que cumpla con los requisitos y la envía. En la recuperación, la tentación de confundir los dos es grande porque cada artículo parece una oportunidad. La decisión correcta suele ser aquella que no requiere nueva I+D.

3. Conclusión

La recuperación no es una búsqueda; está filtrando en dos tablas estructuradas (line_df y toc_df) que el análisis ya produjo. Cada método de recuperación es una forma diferente de seleccionar filas de estas dos tablas.

El ancla y el contexto son granularidades diferentes. Ancla pequeña (línea, título): eso es lo que puntúas. Contexto grande (párrafo, sección): eso es lo que se pasa a generación. Los dos alcances son decisiones de diseño independientes; colapsarlos es el error más común en las tuberías.

Dos fases. La fase 1 encuentra dónde reside la respuesta. La fase 2 dimensiona el contexto alrededor de cada ancla, según la intención de la pregunta y el alcance del alcance (ya analizado en el lado de la pregunta).

Con el modelo mental implementado, la siguiente pregunta natural es cómo la tubería produce los anclajes: qué detectores se ejecutan en line_df y toc_df, en qué orden y cuándo ingresa el LLM. El artículo 7B (detección de anclajes) recorre ese proceso de tres etapas (palabra clave + incrustaciones en paralelo, agregado a una unidad estructural, un árbitro LLM al final), con código ejecutable en el documento Transformer como ejemplo de ejecución. El artículo 7C (el árbitro de LLM) cierra el ciclo de la llamada del árbitro, el árbol de decisión que selecciona métodos por pregunta, la ruta "no encontrada" y la recuperación unificada del contrato JSON pasa a la generación.

Este artículo forma parte de la serie Enterprise Document Intelligence. La canalización RAG mínima muestra la recuperación en uso de un extremo a otro en un PDF real.

4. Fuentes y lecturas adicionales

La recuperación se reformuló como filtrado en dos tablas estructuradas, con anclaje y contexto como granularidades separadas. Las referencias siguientes cubren el modelo mental.

Misma dirección que el artículo:

Sarthi et al., RAPTOR: Procesamiento abstracto recursivo para la recuperación organizada en árboles, ICLR 2024 (arXiv:2401.18059). El equivalente publicado más cercano al marco TOC como recuperador; RAPTOR agrupa su propio árbol, este artículo utiliza el TOC que el documento ya declara. Recuperación antrópica y contextual (septiembre de 2024). Consenso de búsqueda híbrida alineado con la separación de anclaje y contexto que presenta este artículo.

Al principio de la serie:

Document Intelligence: introducción a la serie. Qué construye la serie, ladrillo a ladrillo y en qué orden. Baseline Enterprise RAG, desde PDF hasta respuesta resaltada. El canal de cuatro ladrillos de un extremo a otro: PDF de entrada, respuesta resaltada de salida. Las incrustaciones no son mágicas: los modos de falla predecibles de la recuperación de RAG. Dónde gana la incorporación de similitud (sinónimos, errores tipográficos, paráfrasis), dónde predeciblemente se rompe (términos desconocidos, negación, relevancia de término versus respuesta) y cómo usarlo de todos modos. Los rerankers tampoco son mágicos: cuando la capa de codificador cruzado vale la pena. Lo que agrega un codificador cruzado sobre las incorporaciones de codificador doble, medido y cuándo vale la pena la latencia. RAG no es aprendizaje automático y el conjunto de herramientas de ML resuelve el problema equivocado. Por qué los barridos y ajustes de tamaño de fragmentos optimizan lo incorrecto; en su lugar, ruta por tipo de pregunta. De expresiones regulares a modelos de visión: qué técnica RAG se adapta a qué problema. Dos ejes, complejidad documental y control de preguntas, que seleccionan la técnica para cada caso. 10 errores comunes de RAG que seguimos viendo en producción. Diez errores de producción, organizados ladrillo por ladrillo, con la solución para cada uno. Más allá de extract_text: las dos capas de un PDF que impulsan la calidad RAG. La primera mitad del bloque de análisis: la naturaleza del documento, las señales y el resumen. Deje de devolver texto plano desde un PDF: la forma relacional que RAG necesita. La segunda mitad del bloque de análisis: las tablas relacionales que lee cada bloque posterior.