de Enterprise Document Intelligence, una serie que construye un sistema RAG empresarial a partir de cuatro ladrillos: análisis, análisis de preguntas, recuperación y generación.
Amplifique al experto: la tesis detrás de cada elección arquitectónica de la serie.
Si hay que recordar una idea de esta serie, es ésta: Enterprise RAG amplifica al experto. No los reemplaza. Este artículo establece la tesis desde el principio, antes de que comiencen las técnicas, porque todos los artículos posteriores se derivan de ella.
La mayoría de los errores arquitectónicos en la producción de RAG se deben a que se olvida esto. Una vez que lo aceptas, el resto de la serie deja de ser un catálogo de técnicas y pasa a parecer un argumento coherente.
1. La tesis en una frase
Esta serie trata sobre la creación de sistemas RAG que amplifiquen el trabajo de los expertos empresariales con sus propios documentos, no sobre la creación de inteligencia documental de propósito general que los reemplace.
La premisa suena modesta pero cambia la mayoría de las opciones arquitectónicas. El trabajo del sistema es escalar el juicio que ya existe en forma humana: el abogado que ha leído mil contratos, el asegurador que busca la cláusula deducible por reflejo, el oficial de cumplimiento que sabe qué sentencia preguntará el auditor. Esas personas son la fuente de la verdad. El sistema gestiona el volumen, encuentra pasajes en segundos y compara documentos sistemáticamente. No pretende ser el experto.
Todas las demás posiciones que defiende la serie se derivan de esta tesis. Las tiendas de vectores son una alternativa porque el experto ya conoce las palabras clave. Los despachadores deterministas derrotan a los agentes autónomos porque el experto necesita auditar lo sucedido. Los diccionarios de expertos superan a las incorporaciones afinadas porque el vocabulario del experto es más rico de lo que cualquier fórmula IDF o espacio vectorial podría capturar.
2. La brecha entre dos bandos
La mayoría de las empresas ejecutan dos realidades paralelas en los mismos documentos: un canal opaco de almacenamiento de vectores que construyó el campo de TI y un experto que todavía busca con Ctrl+F porque nada de lo que envió el campo de TI se ganó su confianza. La serie se encuentra en el puente entre los dos.
En el lado de TI, los proveedores y las conferencias le dijeron al grupo que fragmentara cada documento, lo enviara a un almacén de vectores, incrustara cada consulta y confiara en que la similitud del coseno encontrará el pasaje correcto. Ellos construyen el sistema, lo ejecutan, y si les preguntas exactamente por qué regresó un fragmento determinado, muy pocos pueden responder. La arquitectura es opaca incluso para las personas que la implementaron.
Del lado de los expertos, décadas de lectura acumulada. Abogados que han leído mil contratos. Aseguradores que han tasado diez mil pólizas. Oficiales de cumplimiento que puedan nombrar la cláusula sobre la que un auditor preguntará antes de que entre. Pregúnteles cómo buscan un documento. La respuesta honesta es casi siempre la misma. Abren el PDF, presionan Ctrl+F, escriben una palabra clave que saben que funciona en su corpus y encuentran el pasaje. Si falta la palabra clave, van a la tabla de contenido, localizan la sección correcta y la escanean línea por línea. Ése es el método de recuperación en el que han convergido décadas de experiencia.
La brecha no es benigna. El sistema de campamentos de TI es opaco incluso para las personas que lo construyeron; El método del campo de expertos es preciso pero no escalable. El movimiento natural de la serie es reunirlos: tomar el método en el que el experto ya confía (búsqueda de palabras clave basada en vocabulario real, luego navegación TOC cuando faltan palabras clave) y usar el LLM para escalarlo. Los LLM ahora son lo suficientemente fuertes como para que la etapa de recuperación ya no tenga que ser inteligente para compensar. El reflejo de la era 2022 de acumular trucos de integración sobre un modelo de generación débil fue resolver un problema que ya no existe con la misma intensidad. La recuperación puede permanecer cerca del flujo de trabajo natural del experto sin perder la calidad de las respuestas.
Debajo de los dos bandos se esconde una distinción que vale la pena señalar claramente. Hay dos formas de responder una pregunta, y no son la misma operación:
De la memoria paramétrica del modelo. Escribes la pregunta, el modelo responde, un paso. Eso es un chatbot, y para conocimientos generales es suficiente. De un documento. Dos fases que tienen que mantenerse separadas. Primero se encuentra el pasaje, mediante palabras clave, de la misma manera que el experto presiona Ctrl+F, no entregándole al modelo la pregunta sin formato. Sólo entonces se responde la pregunta, en relación con el documento y no con la formación del modelo.
El trabajo empresarial es el segundo caso, y el resto de la serie mantiene separadas las dos fases.
Reflejar tan fielmente el método del experto no es cosmético. La cuestión no es que los almacenes de vectores sean incorrectos en todas partes; La cuestión es que adoptar un método que el experto no puede reconocer, en documentos que el experto conoce de memoria, es la forma más rápida de perder su confianza. Sin confianza, el sistema no se acostumbra, y un sistema que no se utiliza tiene valor cero, independientemente de lo impresionantes que parezcan sus puntos de referencia.
3. El paralelo histórico: el aprendizaje automático hace diez años
RAG está repitiendo la ola de ML empresarial de 2015 a 2020 palabra por palabra. El mismo reflejo de copia del proveedor, las mismas plantillas genéricas, los mismos modos de falla. Lo que funcionó entonces, y lo que funcionará para RAG ahora, es un trabajo en un dominio específico basado en la experiencia existente.
Entre 2015 y 2020, las empresas intentaron crear sistemas de aprendizaje automático copiando a Google, DeepMind y Facebook. “Construir un modelo que aprenda” fue el lema. La mayoría de los proyectos de aprendizaje automático empresarial de esa época no lograron llegar a producción. Gartner cifró la cifra en alrededor del 85% en 2019, y los profesionales que vivieron la ola citan cifras en el mismo rango. Fracasaron siempre por las mismas razones. Las empresas empresariales no tienen la escala de datos de Google. No cuentan con equipos de investigación. No tienen presupuestos informáticos ilimitados. No tienen casos de uso abiertos que justifiquen enfoques generales.
Lo que terminó funcionando en el aprendizaje automático empresarial fue el trabajo de dominio específico. Previsión actuarial adaptada a los seguros. Clasificación de documentos calibrada según vocabulario interno. Puntuación de riesgo que explotaba las variables del dominio que los expertos ya habían identificado como predictivas. Los sistemas que aportaron valor fueron los que se basaron en la experiencia existente, no los que intentaron aprenderla desde cero.
RAG está repitiendo exactamente este patrón. Las empresas copian OpenAI, conectan sus datos a productos RAG administrados genéricos y vectorizan todo de forma predeterminada. Los modos de falla son los mismos que en la década del ML: demasiada generalidad, insuficiente anclaje de dominio, ninguna respuesta para los casos que los puntos de referencia no cubrieron. La alternativa es la misma respuesta que funcionó hace diez años. RAG específico de dominio. Codificar la experiencia que ya existe. Utilice la estructura de documentos que el equipo ya conoce. Amplifique al experto en lugar de pasarlo por alto.
Este paralelo es importante por dos razones. Le da profundidad histórica al argumento (hemos visto esta película). Y le da al argumento un marco constructivo (no estamos en contra de OpenAI; decimos que se conoce la trayectoria y que la alternativa es construir para nuestro contexto, no el de ellos).
4. Dónde se aplica esto (y dónde no)
La tesis no es universal. Cuatro propiedades de contexto deciden si esta serie es su guía. Cuando los cuatro se mantienen, la arquitectura gana su lugar; cuando falta uno, una postura diferente encaja mejor.
Las cuatro propiedades son:
Se conoce el contexto del documento. El sistema se implementa en una clase específica de documentos cuya estructura, vocabulario y convenciones son conocidas: contratos de seguro, registros médicos, acuerdos legales, presentaciones regulatorias, estados financieros, especificaciones técnicas. El conocimiento del dominio es una entrada al sistema, no algo que éste deba descubrir. Los expertos en dominios existen y son accesibles. El equipo que construye el sistema puede hablar con las personas que utilizan los documentos día a día. Esos expertos conocen el vocabulario, dónde reside cada tipo de información, qué palabras clave recuperan qué cláusulas y qué preguntas son más importantes. Esa experiencia se codifica en el sistema en lugar de ser adivinada mediante un modelo genérico. El objetivo es la amplificación, no el reemplazo. El experto sigue existiendo después de que se envía el sistema. El sistema les ayuda a manejar volúmenes que no podían procesar manualmente y a encontrar información en segundos en lugar de quince minutos. La postura es técnica (la IA actual no puede reemplazar de manera confiable el juicio de los expertos en casos no triviales) y operativa (los expertos no quieren ser reemplazados y los sistemas que pretenden lo contrario son rechazados). El sistema debe ser auditable por el experto. Las recuperaciones deben ser rastreables, las respuestas deben citar sus fuentes, las decisiones deben ser explicables, el comportamiento debe ser reproducible. Un sistema que el experto no puede auditar es aquel que el experto no utilizará.
Estos cuatro son válidos para la mayoría del trabajo de inteligencia documental empresarial. Corredores de seguros, bufetes de abogados, hospitales, bancos, agencias gubernamentales, cualquier organización donde los expertos trabajen con documentos estructurados bajo escrutinio regulatorio.
Donde no es así. Control de calidad de dominio abierto en la web, chat con consumidores, exploración de un corpus donde no existe ningún experto, entornos donde las preguntas son ilimitadas. Allí, la recuperación de propósito general y los agentes autónomos tienen más sentido. La compensación cambia: se sacrifica la auditoría y la reproducibilidad, pero tampoco se cuenta con un experto que las hubiera utilizado. Esos son problemas diferentes y la arquitectura debería ser diferente. La postura de la serie es defendible precisamente porque admite dónde no se aplica.
5. Los tres principios fundacionales
La amplificación del experto se convierte en código en tres disciplinas: elegir técnicas que el experto reconozca, construir una arquitectura piramidal que un nuevo ingeniero pueda trazar de una sola vez y usar tablas relacionales (no cadenas) en cada unión de ladrillos.
Pragmático, impulsado por la experiencia. Cada elección se juzga según un único criterio: ¿se basa en años de experiencia acumulada por personas que ya conocen estos documentos? Si es así, se envía. Si no, es ruido. La serie no tiene paciencia con las técnicas que ignoran la sabiduría del experto en favor de un modelo genérico que la vuelve a aprender mal desde cero. Ajustar un modelo de incorporación de datos de dominio es una alternativa cuando no se dispone de vocabulario experto, no una medida predeterminada cuando el diccionario se puede escribir en una tarde sentándose con el asegurador. Ingeniería piramidal, no una colección suelta de trucos. Un sistema RAG de producción debe ser legible, escalable y mantenible dentro de cinco años. Cuatro bloques claramente nombrados en la parte superior (análisis, análisis de preguntas, recuperación, generación), cada uno de los cuales se descompone en un puñado de funciones con nombre, cada función hace una cosa en entradas y salidas bien definidas. Sin bucles de orquestación (del tipo en el que un LLM elige el siguiente paso hasta que decide detenerse), sin estados ocultos, sin "el LLM se da cuenta". Prueba de diseño concreto: un ingeniero senior que se una al equipo debería poder rastrear una solicitud desde la entrada hasta la salida leyendo el código solo, de una sola vez, sin una transferencia oral. Si eso no es posible, la arquitectura ha fracasado. Sin esta claridad, el sistema se pudre: cada nueva característica rompe algo antiguo, cada colaborador se pierde, cada auditoría lleva semanas. Datos relacionales en cada ladrillo. Los datos del documento no están estructurados y no se puede hacer nada con ellos. Entonces la serie la estructura, en cada ladrillo, en tablas relacionales. El análisis convierte el PDF en un conjunto de DataFrames vinculados (line_df, page_df, image_df, toc_df, span_df, object_registry). El análisis de preguntas también convierte la pregunta del usuario en un conjunto relacional (question_df más satélites). La recuperación se convierte en una consulta sobre esas estructuras. La generación estructura su salida: una respuesta Pydantic escrita, citas a nivel de línea, campos de autoevaluación. Las uniones entre ladrillos son tablas, no cuerdas. La sopa de cuerdas en cualquier unión produce la mitad del dolor de depuración en la producción RAG.
Estas tres no son características. Son la disciplina que hace que las elecciones arquitectónicas específicas de la serie sean defendibles a lo largo de muchos años y muchos colaboradores.
6. Los cuatro ladrillos, a través de esta filosofía
Los cuatro bloques (análisis, análisis de preguntas, recuperación, generación) son comunes a la mayoría de las arquitecturas RAG. Lo específico aquí es que cada uno refleja algo que el experto hace mentalmente y lo amplifica en los ejes que un flujo de trabajo manual no puede alcanzar. Cada artículo posterior de la serie desarrolla una de estas cuatro ideas en código.
El análisis refleja cómo el experto escanea un documento en la primera lectura: capta el tema, encuentra la lista de secciones, detecta dónde se encuentran los números. El analizador realiza ese escaneo una vez y guarda el resultado. Todo lo que se perdió aquí no se puede recuperar en el futuro, lo que hace que el análisis sea la opción más importante en el proceso.
El análisis de preguntas refleja el reflejo Ctrl-F: el experto comienza escribiendo dos o tres palabras clave. El ladrillo mantiene eso y lo amplifica en dos ejes que Ctrl-F no puede alcanzar (co-ocurrencia y expansión del diccionario de expertos), luego divide la pregunta en un resumen de recuperación y un resumen de generación que los ladrillos posteriores consumen por separado.
La recuperación refleja la clasificación que hace el experto después de que Ctrl-F devuelve treinta resultados: elimine los que no están relacionados con el tema y mantenga los pocos que merecen una segunda mirada. El ladrillo hace eso a escala y mantiene separadas tres cosas que los "trozos top-k" colapsan: el ancla (donde aterriza la cerilla), el alcance (lo que pasa a la generación) y el contexto (el entorno que el experto lee por reflejo). El criterio es "el conjunto que vale un segundo pase humano", no "top-k por coseno".
Artículo 7 (recuperación): el marco Artículo 7A (recuperación como filtrado): un filtro en line_df y toc_df Artículo 7B (detección de anclaje): detectores paralelos, una llamada de LLM al final Artículo 7C (el árbitro de LLM): elige al candidato final, con razones Artículo 12 (listado): cuando la respuesta son todas las coincidencias, no una
En la generación es donde vive la disciplina contra la fabricación: una reformulación fiel de lo que dice el alcance recuperado más la cita para verificarlo, nunca una paráfrasis que se desvíe. El LLM completa un esquema Pydantic escrito (respuesta, citas de líneas, respuesta_encontrada, confianza, advertencias) que el experto controla escribiendo el esquema y el mensaje.
Artículo 8a (el contrato de respuesta): la respuesta escrita con citas y autoverificaciones Artículo 8b (ensamblaje rápido): mensaje + esquema + seguimiento de una pregunta analizada Artículo 8c (validación): el validador y el circuito de retroalimentación que cierra el proceso Artículo 13 (el proceso de flujo de trabajo): conecta los cuatro ladrillos mejorados en uno Artículo 9 (el proceso mejorado): la línea base del Artículo 1 (RAG mínimo), actualizado ladrillo por ladrillo
Cada ladrillo respeta la misma disciplina: entrada estructurada, salida estructurada, sin sopa de hilos en ninguna unión. Eso hace que el sistema sea consultable, auditable, reproducible y conectable a lo largo de años de preguntas y respuestas acumuladas. La Parte IV (Artículo 14, el problema del corpus, 15, preparación del corpus, 16, ontología, 17, consulta del corpus) muestra en qué se convierten los mismos cuatro ladrillos a escala de corpus, con un corpus_index en forma de SQL, una ontología en cinco tablas relacionales y control de calidad a nivel de corpus. La Parte V (Artículo 18 arquitectura de código, 19 almacenamiento, 20 evaluación, 21 costo y latencia, 22 seguridad) hace que la arquitectura sea operativa a lo largo de años.
7. Lo que se sigue de la tesis
La serie defiende seis contraposiciones al libro de jugadas convencional de RAG. No son elecciones estilísticas: cada una se deriva mecánicamente de la tesis una vez que se cumplen las cuatro propiedades del contexto.
Si los expertos conocen las palabras clave, la tienda de vectores no puede ser la base. Es el recurso alternativo para los casos en los que el diccionario omitió un alias. Si las incrustaciones son útiles para encontrar sinónimos, son una herramienta de descubrimiento cuyo resultado va al diccionario experto, no un recuperador de producción al que se consulta en cada llamada. El artículo 2 cataloga dónde gana la incorporación de similitud y dónde, como era de esperar, fracasa; El artículo 2bis hace lo mismo con los codificadores cruzados. Si la recuperación es sólida porque filtra DataFrames estructurados creados a partir de vocabulario experto, el reclasificador no tiene trabajo que hacer que el filtro ascendente no haya hecho ya. Si el experto debe auditar cada respuesta, el despachador debe ser determinista e inspeccionable, no un circuito autónomo. El artículo 13 (el flujo de trabajo) es el ladrillo que sostiene esta disciplina. Si el corpus pertenece a un negocio específico con documentos específicos, vectorizar todo indexa ruido; la estructuración en el momento de la ingestión produce una señal que se compone. El artículo 3 es el argumento de que RAG no es aprendizaje automático y que el conjunto de herramientas de ML resuelve el problema equivocado; El artículo 4 asigna técnicas a problemas en dos ejes (complejidad del documento, control de preguntas); El artículo 4bis cataloga los diez errores de producción que el sector sigue repitiendo.
El punto de este artículo es que estas posiciones no son independientes. Son un argumento con seis consecuencias visibles.
8. Fuentes y lecturas adicionales
Este epílogo es el ancla filosófica de la serie. La formulación del juicio de expertos como un recurso renovable proviene de Tetlock y Gardner (Superforecasting, 2015). La filosofía de herramienta como amplificador que se relaciona directamente con la arquitectura RAG es de Norman (The Design of Everyday Things, 1988). Building Effective Agents de Anthropic (diciembre de 2024) es el marco de la industria para determinar cuándo los flujos de trabajo ganan a los agentes. El clásico artículo breve detrás del desempate de amplificar al experto es Ironies of Automation (1983) de Bainbridge: cuanto más avanzada es la automatización, más importa la contribución humana. Los patrones agentes en los que el agente todavía utiliza los ladrillos auditados que el experto seleccionó son un trabajo de seguimiento.
Misma dirección que el epílogo:
Tetlock & Gardner, Superforecasting: The Art and Science of Prediction, 2015. Juicio de expertos como recurso renovable; La tesis de amplificar la experta trata a los expertos en el dominio de la misma manera que Tetlock trata a los superpronosticadores. Norman, El diseño de las cosas cotidianas, 1988/2013. Herramienta como amplificador en lugar de herramienta como reemplazo; La filosofía se aplica a la arquitectura RAG del mismo modo que se aplica a las manijas de las puertas. Anthropic, Building Effective Agents, diciembre de 2024. Cuándo funcionan los agentes de LLM y cuándo ganan los flujos de trabajo deterministas; La matriz de decisiones coincide con la filosofía de esta serie. Carr, The Glass Cage: How Our Computers Are Changing Us, WW Norton 2014. Libro de advertencia sobre la automatización que elude el juicio de los expertos; Las historias de corpus de corredores de la serie son ejemplos concretos de las preocupaciones de Carr. Bainbridge, Ironies of Automation, Automatica 1983. Artículo breve clásico: cuanto más avanzada es la automatización, más importa la contribución humana. El respaldo filosófico para el desempate de amplificar al experto.
Ángulo diferente, contexto diferente:
Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press 2014. El argumento filosófico más sólido a favor de los sistemas que apuntan a la amplificación de los expertos hacia la plena autonomía. El contexto es el AGI a largo plazo; este epílogo maneja el trabajo de documentos empresariales donde los expertos son accesibles y se requiere una auditoría. Yao et al., ReAct: Sinergia del razonamiento y la actuación en modelos lingüísticos, ICLR 2023 (arXiv:2210.03629). El agente razona y actúa sin enrutamiento seleccionado por humanos. El contexto es la selección de herramientas de propósito general; Desarrollar esta línea sobre los ladrillos auditados, según el experto, es un trabajo de seguimiento.
Al principio de la serie:
Parte I: Lo que funciona, lo que no funciona
Baseline Enterprise RAG, desde PDF hasta respuesta resaltada. El canal de cuatro ladrillos de un extremo a otro: PDF de entrada, respuesta resaltada de salida. Las incrustaciones no son mágicas: los modos de falla predecibles de la recuperación de RAG. Dónde gana la incorporación de similitud (sinónimos, errores tipográficos, paráfrasis), dónde predeciblemente se rompe (términos desconocidos, negación, relevancia de término versus respuesta) y cómo usarlo de todos modos. RAG no es aprendizaje automático y el conjunto de herramientas de ML resuelve el problema equivocado. Por qué los barridos y ajustes de tamaño de fragmentos optimizan lo incorrecto; en su lugar, ruta por tipo de pregunta. De expresiones regulares a modelos de visión: qué técnica RAG se adapta a qué problema. Dos ejes, complejidad documental y control de preguntas, que seleccionan la técnica para cada caso.
Parte II: Los cuatro ladrillos
Más allá de extract_text: las dos capas de un PDF que impulsan la calidad RAG. La primera mitad del bloque de análisis: la naturaleza del documento, las señales y el resumen. Deje de devolver texto plano desde un PDF: las tablas relacionales que RAG necesita. La segunda mitad del bloque de análisis: las tablas relacionales que lee cada bloque posterior. Cuando PyMuPDF no puede ver la tabla: analice archivos PDF para RAG con Azure Layout. Las mismas tablas de Azure Layout: celdas de tabla nativas, OCR, roles de párrafo. Analice archivos PDF para RAG localmente con Docling: tablas enriquecidas, sin carga en la nube. Las mismas tablas calculadas localmente con Docling: celdas de TableFormer, nada sale de la máquina. Los Vision LLM también son analizadores de PDF: leen cuadros y diagramas para RAG. Visión como analizador: las imágenes se convierten en texto buscable. Analice archivos PDF escaneados para RAG con EasyOCR: el OCR gratuito le proporciona palabras, no un documento. Donde termina el OCR tradicional: texto recuperado, estructura perdida. Hacer que las imágenes de un PDF puedan buscarse en RAG, sin pagar para leerlas todas. La cascada de imágenes: filtrar barato, clasificar, describir sólo lo que vale la pena leer. Reconstruir la tabla de contenido que un PDF olvidó enviar, para que RAG pueda analizarlo por sección. Reconstruir toc_df cuando el PDF imprime una página de contenido pero no incluye ningún esquema. Las preguntas de RAG también deben analizarse: convierta la cadena del usuario en resúmenes para su recuperación y generación. La tesis del análisis de preguntas: por qué una cadena de usuario necesita el mismo análisis que un documento y cómo se divide en un resumen de recuperación y un resumen de generación. Lo que el analizador de preguntas extrae de una cadena de usuario: palabras clave, alcance, forma, descomposición, aclaración. Las cinco familias de columnas que el analizador lee directamente de la pregunta del usuario, con el código que completa cada una. Envío de la pregunta RAG analizada: estrategia de fragmentos, nivel de modelo, activaciones, auditoría. Las decisiones que toma el analizador sobre la cadena de usuario, utilizando el perfil del documento: envío, activaciones, esquema completo, seguimiento de auditoría (pipeline_trace.json) y un recorrido por el corpus del corredor. La recuperación es filtrado, no búsqueda: un modelo mental para RAG empresarial. Recuperación reformulada como filtrado en line_df y toc_df: anclajes pequeños, contexto grande. Detección de anclaje para RAG: detectores paralelos, luego una llamada de LLM al final (enlace por venir). Detectores de anclaje paralelos: palabra clave siempre, incrustaciones al lado, una llamada LLM al final. Dejar que un LLM elija la página RAG correcta: el patrón de árbitro al final de la recuperación (enlace por venir). El árbitro de LLM: candidatos clasificados por motivos, uno escribió JSON. Ingeniería de contexto: el oleoducto que ha estado construyendo tiene un nombre (enlace por venir). Ingeniería de contexto llamada: los cuatro ladrillos emiten contexto mecanografiado, las cuatro estrategias de Lance Martin se asignan a las primitivas docintel.