Más allá de RAG: compresión de conocimientos basada en tareas para la IA empresarial en AWS

Si utiliza la generación aumentada de recuperación (RAG) para tareas analíticas complejas que abarcan cientos de documentos, como la debida diligencia financiera o revisiones de cumplimiento normativo, es probable que haya llegado a su límite. La búsqueda de similitudes muestra fragmentos relevantes, pero a menudo pasa por alto conexiones entre documentos. Esta publicación le muestra cómo abordar esa brecha utilizando la compresión de conocimiento basada en tareas (TAKC), una técnica que precomprime bases de conocimiento completas en representaciones de tareas específicas implementadas en AWS. Puede implementar una implementación completa de código abierto en su propia cuenta.

Compresión de conocimientos basada en tareas

Considere una firma de capital privado que evalúa la adquisición de una empresa manufacturera por valor de 500 millones de dólares. El equipo de due diligence debe analizar los estados financieros que abarcan 12 subsidiarias y 5 años. También enfrentan más de 200 contratos con proveedores, informes de cumplimiento ambiental de 8 instalaciones y más de 50 casos legales. Cuando un analista pregunta sobre los riesgos financieros consolidados dados los términos actuales de los proveedores y los litigios pendientes, la búsqueda de similitudes de RAG no puede revelar esa respuesta. Cientos de documentos contienen información relevante y las conexiones entre ellos no comparten ninguna similitud léxica.

TAKC aborda este tipo de problema mediante el uso de un LLM para producir resúmenes de documentos más breves y centrados en tareas, con diferentes resúmenes para diferentes tareas.

Diferentes tareas requieren información diferente del mismo documento. Un informe anual comprimido para análisis financiero necesita cifras de ingresos, márgenes y datos de flujo de caja. El mismo informe comprimido para una revisión de cumplimiento necesita citaciones regulatorias e historiales de violaciones. El resumen genérico intenta cubrir todo, lo que diluye la densidad de información para cualquier caso de uso específico. TAKC comprime documentos a través de la lente de una tarea específica, manteniendo lo que importa y descartando el resto. La sección Canalización de ingesta muestra cómo el mensaje de compresión especifica exactamente qué información conservar. Para implementaciones de producción, almacene los mensajes de tipo de tarea en una configuración versionada (como AWS Systems Manager Parameter Store o un prefijo dedicado de Amazon Simple Storage Service (Amazon S3)) para que los cambios de los mensajes sean auditables y se pueda activar la recompresión cuando se actualicen los mensajes.

El sistema comprime documentos fuera de línea, una vez por documento y por tipo de tarea. En el momento de la consulta, el sistema recupera una representación precomprimida en lugar del documento original. Luego, el sistema responde a las preguntas utilizando la versión comprimida en lugar del documento completo. Si la representación comprimida carece de detalles suficientes, el analizador de complejidad de la consulta dirige la pregunta a un nivel de compresión inferior que conserva más contexto.

TAKC proporciona acceso a toda la base de conocimientos en forma comprimida, no solo a los k fragmentos principales que devuelve una búsqueda de similitud. El sistema preserva las conexiones entre documentos porque la compresión ve los documentos juntos. También produce diferentes resultados comprimidos para diferentes tareas a partir del mismo material fuente. La compresión financiera de una presentación 10-K no se parece en nada a la compresión del riesgo legal de esa misma presentación. La compresión reduce el recuento de tokens entre 8 y 64 veces y al mismo tiempo se centra en la información relevante para la tarea para su retención.

Compresión multitasa

Diferentes consultas requieren diferentes niveles de fidelidad. Una pregunta como "¿Cuáles fueron los ingresos del tercer trimestre?" necesita mucho menos contexto que una solicitud para analizar las relaciones entre las condiciones de pago a los proveedores y el flujo de efectivo trimestral entre las subsidiarias.

TAKC aborda esto manteniendo cuatro niveles de compresión para cada tipo de tarea. Con la compresión más ligera (8x), el sistema retiene aproximadamente un 87,5% menos de contexto. Conserva suficientes detalles para el razonamiento de varios pasos y la síntesis entre documentos. En el nivel medio (16x), la reducción del contexto alcanza aproximadamente el 93,8%. Este nivel se adapta a consultas analíticas con complejidad moderada. El nivel alto (32x) reduce el contexto en aproximadamente un 96,9 % y ofrece búsquedas de hechos y preguntas bien definidas. En el nivel ultra (64x), la reducción alcanza aproximadamente el 98,4%. Este nivel es apropiado para tareas de clasificación y búsquedas de palabras clave.

Un analizador de complejidad de consultas dirige las preguntas entrantes al nivel apropiado en función de señales como la longitud de la consulta, el tipo de pregunta y la presencia de lenguaje analítico. Las preguntas objetivas sencillas llegan al caché ultracomprimido, mientras que las preguntas analíticas complejas utilizan el caché ligeramente comprimido. Esto sucede de forma transparente para el usuario.

La mayoría de las consultas empresariales son búsquedas que se pueden atender desde los niveles de compresión más altos a un costo mínimo. Las consultas complejas poco frecuentes consumen presupuestos de contexto más grandes sólo cuando son necesarios. Este enrutamiento basado en niveles complementa las optimizaciones RAG existentes, como el filtrado de metadatos y el reformateo de consultas, que pueden limitar el conjunto de documentos antes de aplicar la compresión. Para validar la calidad de la compresión, compare las respuestas de LLM en cada nivel con las respuestas generadas a partir del documento completo sin comprimir. La implementación de referencia incluye scripts de prueba que ejecutan esta comparación para sus tipos de tareas y documentos específicos.

Arquitectura en AWS

La implementación se ejecuta en AWS como dos canalizaciones sin servidor desacopladas: una para ingesta y otra para consultas. La Figura 1 ilustra ambos gasoductos.

Arquitectura TAKC. El flujo de canalización maneja la ingesta y compresión de datos. El flujo de usuarios maneja consultas autenticadas.

Elegimos AWS Lambda para la computación porque cada invocación de función es de corta duración y está controlada por eventos. La carga de trabajo procesa datos en ráfagas durante la ingesta y maneja cargas de consultas variables entre ráfagas, lo que hace que la tecnología sin servidor sea una opción natural.

Elegimos Amazon API Gateway para exponer la interfaz de consulta como un punto final REST. Para el almacenamiento en caché, elegimos Amazon ElastiCache Serverless para lecturas de claves compuestas (takc:{task}:{rate}) sin administración de fragmentos. Amazon Cognito maneja la emisión de JWT y la actualización de tokens sin código de autenticación personalizado, lo que reduce el área de implementación.

Tubería de ingestión

Cuando un documento llega a Amazon S3 con un prefijo de tipo de tarea (por ejemplo, datos sin procesar/financieros/), una notificación de evento de S3 activa una función de AWS Lambda. Esta función divide el documento en segmentos de 256 tokens con una superposición de 50 tokens para evitar la pérdida de información en los límites. Luego invoca una función Lambda de compresión para cada fragmento de forma asincrónica, lo que permite el procesamiento en paralelo. Para la ingesta a gran escala, configure la simultaneidad reservada en la función de compresión y coloque una cola de Amazon Simple Queue Service (Amazon SQS) entre los pasos de fragmentación y compresión para manejar la limitación correctamente.

La segunda función llama a Amazon Bedrock para comprimir los fragmentos en los cuatro niveles de compresión. Cada llamada de compresión incluye un mensaje de tarea que le indica al modelo qué información preservar:

TAREA: Análisis financiero. Preservar las métricas de ingresos, márgenes, flujo de caja, obligaciones de deuda e indicadores de riesgo financiero. OBJETIVO DE COMPRESIÓN: Reducir a aproximadamente 1/16 de la longitud original. INSTRUCCIONES: – Centrarse en hechos y relaciones relevantes para la tarea – Preservar datos numéricos y métricas – Mantener entidades y sus atributos – Mantener relaciones causales y dependencias – Eliminar información redundante o irrelevante

El modelo sabe qué preservar porque el mensaje especifica lo que importa para la tarea. Esa distinción es lo que hace que esta compresión tenga en cuenta las tareas en lugar de ser genérica. El sistema almacena resultados comprimidos en Amazon ElastiCache Serverless con claves como takc:financial:medium y realiza una copia de seguridad de ellos en S3 para mayor durabilidad. El modelo de datos de Redis OSS admite la estructura de claves jerárquica necesaria para las búsquedas de caché de múltiples velocidades. Las entradas de caché utilizan un TTL de 24 horas y tienen una copia de seguridad en S3. Si una entrada de caché se desaloja o caduca, la función de consulta recurre a la copia de seguridad de S3 y vuelve a llenar el caché durante la lectura.

canalización de consultas

Un usuario se autentica a través de Amazon Cognito, recibe un JWT y envía una consulta a través de Amazon API Gateway. AWS WAF encabeza la API para limitar la velocidad y proteger contra amenazas. Una función Lambda analiza la complejidad de las consultas mediante heurísticas (señales de palabras clave y longitud de la consulta), recupera la caché comprimida adecuada de Amazon ElastiCache Serverless y envía el contexto comprimido más la consulta a Amazon Bedrock para su inferencia. Cuando la confianza del enrutamiento es baja, el sistema utiliza de forma predeterminada el nivel de compresión medio como alternativa segura.

Las llamadas de compresión Bedrock de mayor costo ocurren una vez durante la ingesta. La ruta de consulta es una búsqueda en caché más una inferencia sobre el contexto comprimido.

La pila utiliza Amazon Bedrock (Anthropic Claude 3 Haiku, Claude 3 Sonnet y Amazon Titan Text) para compresión e inferencia. La selección del modelo se puede configurar a través de valores de contexto CDK sin cambios de código. AWS Lambda (Python 3.12+) maneja el procesamiento de datos y la lógica de consultas. Amazon ElastiCache Serverless almacena la caché comprimida, mientras que Amazon S3 almacena datos sin procesar, fragmentos y copias de seguridad de la caché (cifradas con KMS). Amazon API Gateway expone los puntos de enlace REST y Amazon Cognito proporciona autenticación basada en JWT. AWS WAF enfrenta la API con reglas de seguridad administradas y limitación de velocidad. Amazon CloudWatch proporciona monitoreo y métricas, y AWS Key Management Service (AWS KMS) administra las claves de cifrado.

Defina la infraestructura como una única pila del AWS Cloud Development Kit (AWS CDK) e impleméntela con un solo comando. AWS CDK proporciona implementaciones repetibles y le permite personalizar parámetros como el tamaño del fragmento de compresión, la asignación de memoria Lambda y los límites de almacenamiento de ElastiCache a través de valores de contexto. Para implementaciones de producción, considere separar los recursos con estado (S3, ElastiCache, Cognito) en su propia pila para reducir el radio de explosión y permitir la gestión independiente del ciclo de vida de las capas de computación y almacenamiento.

Comparación de costos

Uso de tokens de entrada para una base de conocimientos de 100 000 tokens consultada 1000 veces al día (los tokens de salida se excluyen porque la longitud de la respuesta es independiente del tamaño del contexto):

Enfoque Tokens de entrada por consulta Tokens de entrada diarios Costo relativo de entrada Contexto completo 100.000 100.000.000 100% RAG (top-10 fragmentos) ~10.000 10.000.000 10% TAKC Ligero (8×) ~12.500 12.500.000 12,5% TAKC Medio (16×) ~6.250 6.250.000 6,25% TAKC Alto (32×) ~3.125 3.125.000 3,1% TAKC Ultra (64×) ~1.563 1.563.000 1,6%

Los ahorros simbólicos derivados de la compresión se derivan directamente de las relaciones de compresión. Los ahorros reales dependen de los precios y patrones de consulta de su modelo Bedrock específico.

TAKC requiere un costo de compresión inicial a través de llamadas únicas a Bedrock durante la ingesta. Este costo se amortiza para las bases de conocimiento que cambian con poca frecuencia y se consultan repetidamente. Para las bases de conocimiento que cambian cada hora, el modelo de recuperación por consulta de RAG puede ser más práctico.

Cuándo elegir TAKC, RAG o ambos

Esta tabla resume cuándo cada enfoque es el más adecuado, según las características de su carga de trabajo:

Factor Favorece TAKC Favorece RAG Tipo de consulta Razonamiento entre documentos, síntesis Búsquedas concretas limitadas Estabilidad de la base de conocimientos Cambios diarios o menos Cambios cada hora o más Previsibilidad de tareas Tipos de tareas bien definidos Patrones de consulta impredecibles Requisito de cobertura Debe considerar el corpus completo Solo unos pocos documentos son relevantes Atribución de fuente No requerido Requerido (el usuario necesita ver la fuente) Presupuesto simbólico Estrecho Flexible

En la práctica, un sistema de producción suele beneficiarse de ambos. RAG maneja búsquedas rápidas de manera eficiente. TAKC maneja las consultas analíticas donde los enfoques basados ​​en la recuperación pierden conexiones. Un analizador de complejidad de consultas puede enrutar entre ellos. Utilice RAG cuando los usuarios necesiten rastrear las respuestas hasta documentos fuente específicos. Para cargas de trabajo reguladas que requieren tanto razonamiento entre documentos como auditabilidad, combine TAKC con RAG: use TAKC para la respuesta analítica y RAG para recuperar los documentos fuente de respaldo para la pista de auditoría.

Empezando

Requisitos previos

Para implementar esta implementación de referencia, verifique que tenga lo siguiente:

Implementar y probar

Clone el repositorio aws-samples/sample-bedrock-takc-compression e implemente la pila CDK:

git clone https://github.com/aws-samples/sample-bedrock-takc-compression cd sample-bedrock-takc-compression/cdk python3 -m venv .venv && source .venv/bin/activate pip install -r requisitos.txt cdk implementar

Una vez completada la implementación, pruebe la canalización:

Cargue un documento en el depósito S3:

aws s3 cp your-document.pdf s3://$(aws cloudformation describe-stacks –stack-name TakcStack –query 'Stacks[0].Outputs[?OutputKey==`DataBucketName`].OutputValue' –texto de salida)/raw-data/financiero/

Espere de 2 a 3 minutos para que la canalización de ingesta fragmente y comprima el documento en los cuatro niveles de compresión. Consulta el punto final de la API:

curl -X POST $(aws cloudformation describe-stacks –stack-name TakcStack –query 'Stacks[0].Outputs[?OutputKey==`ApiEndpoint`].OutputValue' –output text)/query -H "Autorización: Portador $TOKEN" -H "Tipo de contenido: aplicación/json" -d '{"question": "¿Cuáles son los riesgos financieros clave?"}'

El sistema maneja fragmentación, compresión de múltiples velocidades, almacenamiento en caché y enrutamiento de consultas sin configuración adicional.

Limpiar

Para evitar cargos continuos, destruya la pila CDK cuando haya terminado de realizar las pruebas. Primero, vacíe el depósito de S3 porque CDK no puede eliminar depósitos que contengan objetos:

aws s3 rm s3://$(aws cloudformation describe-stacks –stack-name TakcStack –query 'Stacks[0].Outputs[?OutputKey==`DataBucketName`].OutputValue' –texto de salida) –recursivo

Luego destruye la pila:

cd sample-bedrock-takc-compression/cdk source .venv/bin/activate cdk destroy

Esto elimina las funciones Lambda, API Gateway, la caché sin servidor de Amazon ElastiCache, el grupo de usuarios de Amazon Cognito, la ACL web WAF y las alarmas de Amazon CloudWatch. La clave KMS se conserva con un período de eliminación pendiente de 30 días. Para programar su eliminación inmediatamente, ejecute el siguiente comando:

aws kms programación-eliminación de claves –key-id –pendiente-ventana-en-días 7

Conclusión

Las tareas analíticas complejas que abarcan cientos de documentos requieren más que la recuperación de fragmentos. TAKC ofrece un enfoque diseñado para esto. Comprima toda la base de conocimientos sin conexión a través de la lente de tareas específicas, almacene en caché esas representaciones en múltiples niveles de fidelidad y haga coincidir el nivel de compresión adecuado para la complejidad de cada consulta.

La implementación de AWS utiliza Amazon Bedrock para compresión e inferencia, Amazon ElastiCache Serverless para almacenamiento en caché y una arquitectura totalmente sin servidor que escala con la demanda. Acceda a la implementación de referencia, la infraestructura CDK y los scripts de implementación en aws-samples/sample-bedrock-takc-compression.

Para comenzar, implemente la pila CDK con sus propios documentos y vea cómo responde el sistema a diferentes tipos de consultas. Si su carga de trabajo implica razonamiento entre documentos sobre bases de conocimiento estables, TAKC puede reducir los costos simbólicos y al mismo tiempo mejorar la calidad de la respuesta.

Referencias

Sobre los autores

Dhananjay Karanjkar

Dhananjay Karanjkar

Dhananjay es consultor principal sénior en AWS Professional Services y se especializa en sistemas de IA agentes, orquestación de múltiples agentes y seguridad de IA generativa. Posee dos patentes estadounidenses y se desempeña como defensor de la IA responsable, con experiencia que abarca servicios financieros, consultoría empresarial y entrega de IA a escala empresarial. Cuando no diseña soluciones de inteligencia artificial, entrena para triatlones, pinta retratos al óleo y lee vorazmente.

Sanjay Chaudhari

Sanjay Chaudhari

Sanjay es consultor líder en servicios profesionales de AWS, donde ayuda a los clientes a migrar y modernizar sus cargas de trabajo .NET en AWS. Está profundamente interesado en el panorama cambiante de la IA agente y su potencial para transformar los flujos de trabajo empresariales. Fuera del trabajo, le gusta viajar y explorar diferentes cocinas.

Rajeshkumar Kagathara

Rajeshkumar Kagathara

Rajeshkumar es consultor principal de AWS Professional Services. Ayuda a los clientes a diseñar, modernizar y ofrecer soluciones escalables nativas de la nube utilizando los servicios de AWS, Java y Spring Boot. A Rajesh le apasiona la transformación de la nube, la modernización de aplicaciones empresariales y la excelencia en ingeniería a través de arquitecturas seguras y de alto rendimiento. Fuera del trabajo, le gusta jugar juegos de interior y viajar.