En este artículo, aprenderá cómo elegir la estrategia de fragmentación adecuada para un sistema de generación de recuperación aumentada trabajando a través de un árbol de decisiones estructurado vinculado a las propiedades de sus documentos y la tarea de recuperación.
Los temas que cubriremos incluyen:
Qué supone cada estrategia importante de fragmentación sobre sus documentos y cuándo se cumplen esas suposiciones. Un árbol de decisión de seis preguntas que asigna documentos concretos y condiciones de recuperación a estrategias de fragmentación específicas. Las señales de falla que indican que una estrategia elegida no está funcionando y las soluciones que tienden a resolverlas.
Introducción
Cuando construye un sistema de generación de recuperación aumentada, a menudo trabaja con documentos que son más grandes de lo que un modelo de incrustación o una ventana de contexto LLM puede acomodar, por lo que necesita dividirlos en partes más pequeñas. El tamaño de los fragmentos y la superposición pueden parecer opciones de configuración sencillas, pero la forma en que se establecen esos límites afecta directamente la recuperación. Los límites deficientes pueden hacer que la recuperación omita el pasaje que responde a una consulta o que devuelva un fragmento que es técnicamente relevante pero que carece del contexto circundante necesario para que sea útil.
Una estrategia de fragmentación define cómo se decide dónde dividir un documento, y esa elección puede tener un efecto importante en la calidad de la recuperación. Cuando los límites preservan el contexto correcto, las incrustaciones, la búsqueda de vectores y la generación tienen una base más sólida con la que trabajar. Cuando los límites rompen un contexto importante, la reclasificación y el ajuste rápido no pueden recuperar completamente lo que se perdió durante la división. Ningún método de fragmentación funciona bien para todos los documentos. Por tanto, la elección correcta depende de la estructura del documento y de la tarea de recuperación.
Este artículo cubre:
Lo que cada estrategia de fragmentación importante supone sobre sus documentos. Un árbol de decisiones que asigna cada una de esas estrategias a una condición concreta que vale la pena verificar. Cómo las estrategias aterrizan en tipos de documentos reales, con compensaciones dispuestas una al lado de la otra. Las señales de falla que le indican que la estrategia elegida no está funcionando.
Empezamos explicando por qué esta elección es importante.
Lo que supone cada estrategia de fragmentación
Cada estrategia de fragmentación se basa en una suposición específica sobre el documento. Elegir una estrategia que coincida con la estructura y las necesidades del documento ayuda a mejorar la calidad de la recuperación y, al mismo tiempo, evita complejidades innecesarias:
Estrategia Lo que se supone Fragmentación de tamaño fijo La ubicación de los límites no importa mucho, ya que la superposición puede parchear lo que se corta a mitad del pensamiento Fragmentación recursiva Los límites de párrafos y oraciones son un proxy lo suficientemente seguro para el significado cuando no hay una estructura más fuerte disponible Fragmentación basada en documentos La propia estructura del documento (encabezados, secciones, límites de funciones) se alinea con su estructura semántica Fragmentación semántica Los cambios de tema son detectables oración por oración a través de la distancia de incrustación Fragmentación tardía El significado de un fragmento depende del todo documento, no solo su propio texto Fragmentación adaptativa Un solo tamaño de fragmento no puede servir a secciones que varían mucho en densidad de información Fragmentación jerárquica La recuperación debe responder preguntas amplias y específicas del mismo corpus Fragmentación basada en LLM Solo un modelo que lee el texto puede encontrar puntos de interrupción lógicos que la estructura y las incrustaciones pasan por alto Fragmentación agente La colección es lo suficientemente variada como para que ninguna regla la maneje bien en su totalidad.
Cuando la estrategia se ajusta al documento, su complejidad añadida puede valer la pena. Cuando no es así, agrega gastos generales sin mejorar la recuperación. Por ejemplo, la fragmentación semántica es innecesaria para una entrada breve de preguntas frecuentes, mientras que la fragmentación de tamaño fijo puede dividir cláusulas relacionadas en un contrato. Estos desajustes pueden provocar problemas de recuperación que se originan en el preprocesamiento en lugar de en la generación.
Trabajar a través de un árbol de decisiones para elegir una estrategia de fragmentación
El árbol tiene seis preguntas ramificadas, cada una de las cuales reduce el espacio estratégico en función de una propiedad concreta del documento o de la tarea de recuperación. Cada pregunta a continuación termina con una respuesta directa: qué estrategia usar si la condición se cumple y adónde ir a continuación si no se cumple. Seguirlos en orden le ayuda a elegir una estrategia basada en el documento y la tarea de recuperación en lugar de optar por una opción familiar.
Pregunta 1: ¿Es necesario fragmentar el documento?
El contenido breve e independiente, como entradas de preguntas frecuentes, descripciones de productos o fragmentos de configuración únicos, a menudo cabe cómodamente en una llamada de inserción y cubre exactamente un tema.
Si el documento encaja bien dentro de la ventana contextual del modelo y no mezcla temas, incorpórelo completo y omita la fragmentación. Dividir contenido que ya es coherente sólo añade una sobrecarga de recuperación. Si el documento es demasiado largo o cubre más de un tema, pase a la Pregunta 2.
Pregunta 2: ¿Tiene el documento una estructura interna clara?
Algunos documentos ya contienen límites naturales que reflejan cómo está organizado su contenido. Los encabezados de Markdown, los elementos HTML, las secciones y tablas de PDF y las funciones o clases de código pueden proporcionar límites de fragmentos significativos.
Si el documento tiene una estructura confiable que se asigna a unidades de contenido lógico, utilice fragmentación basada en documentos. El documento se analiza según su formato, manteniendo juntas secciones, párrafos, tablas, funciones u otros elementos estructurales. Si la estructura es inconsistente, incompleta o no proporciona límites útiles, pase a la Pregunta 3.
Pregunta 3: ¿Los fragmentos necesitan contexto de otras partes del documento?
Algunos documentos tienen dependencias que abarcan todo el texto. Tomemos, como ejemplo, un contrato legal que define un término en la sección uno y lo utiliza en la sección ocho, o una especificación técnica cuya terminología sólo tiene sentido junto a un párrafo anterior.
Si la recuperación necesita preservar esa relación en todo el documento, utilice la fragmentación tardía. Primero incruste el documento completo con un modelo de contexto largo y luego derive incrustaciones a nivel de fragmentos a partir de ese resultado, de modo que cada fragmento aún contenga un rastro del documento completo. Si los fragmentos pueden sostenerse por sí solos sin perder significado, pase a la pregunta 4.
Pregunta 4: ¿Varía la densidad de la información o se necesitan múltiples niveles de granularidad?
Esta pregunta cubre dos condiciones diferentes, cada una de las cuales apunta a una estrategia diferente:
Si la densidad de la información varía entre las secciones, utilice la fragmentación adaptativa para ajustar dinámicamente parámetros como el tamaño de la fragmentación y la superposición para que coincidan con el contenido. Las secciones densas y ricas en información pueden utilizar fragmentos más pequeños y granulares, mientras que las secciones más amplias o menos densas pueden utilizar fragmentos más grandes. Si el mismo corpus necesita admitir preguntas amplias (como lo que cubre un documento) y preguntas específicas (como la sintaxis exacta), utilice fragmentación jerárquica, con fragmentos primarios generales y fragmentos secundarios más detallados.
Si ninguna de las condiciones se aplica, pase a la Pregunta 5.
Pregunta 5: ¿Importa la calidad de la recuperación más que el costo y la latencia?
Esta es la compensación entre costo y calidad. Si la calidad de la recuperación es la prioridad y el presupuesto respalda una llamada de modelo por documento, utilice la fragmentación basada en LLM para identificar puntos de interrupción lógicos o proposiciones atómicas. Si la calidad aún importa pero las llamadas al modelo por documento son demasiado costosas y los cambios de tema son impredecibles, utilice fragmentación semántica basada en la distancia de incrustación de oraciones. Es menos costoso que un pase LLM y al mismo tiempo tiene significado. Si la velocidad y el costo son la prioridad, pase a la pregunta 6.
Pregunta 6: ¿Se trata de un único tipo de documento o de una colección heterogénea?
Si el corpus mezcla tipos de documentos donde la estrategia correcta difiere de un documento a otro, utilice fragmentación agente. Por ejemplo, una colección puede contener informes estructurados, transcripciones narrativas y código. Un agente puede inspeccionar cada documento y seleccionar el enfoque adecuado.
Si la colección es razonablemente uniforme, la fragmentación recursiva es un valor predeterminado práctico. Divide el contenido en límites de párrafo, oración y luego palabra hasta que los fragmentos se ajustan al tamaño objetivo, preservando al mismo tiempo la estructura natural sin necesidad de análisis por documento.
Si la velocidad importa más que la calidad de los fragmentos, los fragmentos de tamaño fijo son una alternativa razonable para los prototipos rápidos. Después de resolver estas preguntas, el árbol de decisiones debería verse así:
Asignación del árbol de decisiones a una estrategia de fragmentación
Trabajar en el árbol le llevará a una de las estrategias siguientes. Los sistemas a menudo combinan más de uno, pero la tabla asigna cada estrategia a la situación que mejor se adapta y al costo que conlleva:
Estrategia Mejor para compensaciones clave Sin fragmentación Contenido breve, de un solo tema que ya se ajusta a la ventana de contexto Ninguno: omite por completo el preprocesamiento Fragmentación basada en documentos Contenido con marcado estructural confiable (Markdown, HTML, código) Se descompone cuando los encabezados no siguen los límites del tema Fragmentación tardía Documentos con referencias cruzadas o dependencias que abarcan secciones Requiere un modelo de incrustación de contexto largo Fragmentación adaptable Corporas con densidad de información marcadamente desigual Mayor complejidad de indexación y recuperación Fragmentación jerárquica Corporas que necesitan consultas amplias y específicas bien respondidas Dos niveles de fragmentos para construir y mantener sincronizados Fragmentación basada en LLM Documentos complejos y de alto riesgo donde la calidad de la recuperación justifica el costo El costo de cómputo más alto por documento Fragmentación semántica Documentos con cambios de tema impredecibles con un presupuesto moderado Necesita ajuste de umbral para evitar recuentos de fragmentos inconsistentes Fragmentación agente Colecciones heterogéneas donde la estrategia óptima varía según el documento Requiere un análisis por documento antes Comienza la fragmentación Fragmentación recursiva Valor predeterminado de propósito general para un corpus razonablemente uniforme Menos semánticamente preciso que los métodos con reconocimiento del significado Fragmentación de tamaño fijo Creación rápida de prototipos cuando la velocidad importa más que la calidad de la porción Ignora la estructura y el significado por completo
La estrategia de fragmentación adecuada depende de la estructura, la complejidad y las necesidades de recuperación de sus datos, con el objetivo de equilibrar la calidad de la recuperación, el costo computacional y la complejidad de la implementación.
Reconocer los errores comunes de la fragmentación
Una estrategia que parecía correcta sobre el papel aún puede comportarse mal una vez que se cumple con los documentos reales. La siguiente tabla enumera las señales a las que vale la pena prestar atención, lo que suelen significar y la solución que tiende a funcionar:
Síntoma Causa probable Solución Fragmentos cortados consistentemente en mitad de la oración o en mitad de la tabla Un método ciego a la estructura aplicado a un documento estructurado Cambiar a fragmentación recursiva en lugar de ampliar la superposición La fragmentación semántica produce recuentos de fragmentos tremendamente inconsistentes en documentos similares Umbral de similitud está mal calibrado Ajuste el umbral o recurra a límites basados en LLM para los documentos que siguen comportándose mal Los fragmentos basados en documentos varían de una línea a varias páginas Combinar encabezados no rastrea de manera confiable los límites de los temas división basada en documentos con un paso recursivo dentro de secciones de gran tamaño La fragmentación jerárquica o adaptativa agrega latencia sin mejorar las respuestas El corpus es pequeño y bastante uniforme Regresa a la fragmentación recursiva La fragmentación agente supera su presupuesto de cómputo en un corpus grande El análisis por documento se repite en cada ejecución en lugar de las decisiones de estrategia de caché en caché, o ejecuta el análisis a nivel de colección en lugar de por documento
Estos errores pueden ayudarle a identificar cuándo es necesario ajustar una estrategia de fragmentación para lograr una mejor recuperación y eficiencia.
Concluyendo
La elección de una estrategia de fragmentación comienza con la comprensión de la estructura de sus documentos y la tarea de recuperación que deben respaldar. Factores como la estructura del documento, las dependencias del contexto, la densidad de la información, los requisitos de recuperación y el costo dan forma a esa elección.
Utilice el árbol de decisiones para identificar un punto de partida adecuado y luego valídelo con sus propias consultas y recuperación de resultados. Comience con la estrategia más simple que se ajuste a sus necesidades e introduzca enfoques más avanzados solo cuando aborden un desafío de recuperación específico.
Los mejores resultados se obtienen al hacer coincidir los límites de los fragmentos con la información que necesita recuperar, manteniendo al mismo tiempo la complejidad adicional proporcional al valor que proporciona.