Extraer información estructurada a partir de datos no estructurados es un primer paso fundamental para desbloquear el valor empresarial. Nuestro acelerador de procesamiento inteligente de documentos con IA generativa (GenAI IDP) ha estado a la vanguardia de esta transformación y ya ha procesado decenas de millones de documentos para cientos de clientes.
Aunque las organizaciones pueden utilizar soluciones de procesamiento inteligente de documentos (IDP) para digitalizar sus documentos extrayendo datos estructurados, los métodos para analizar eficientemente estos datos procesados siguen siendo difíciles de alcanzar. Una vez procesados y estructurados los documentos, surge un nuevo desafío: ¿cómo pueden las empresas analizar rápidamente esta gran cantidad de información y desbloquear conocimientos prácticos?
Para abordar esta necesidad, anunciamos Analytics Agent, una nueva función que se integra perfectamente en GenAI IDP Accelerator. Con esta función, los usuarios pueden realizar búsquedas avanzadas y análisis complejos utilizando consultas en lenguaje natural sin conocimientos de SQL o análisis de datos.
En esta publicación, analizamos cómo los usuarios no técnicos pueden utilizar esta herramienta para analizar y comprender los documentos que han procesado a escala con lenguaje natural.
Acelerador de desplazados internos GenAI
GenAI IDP Accelerator, una solución de código abierto, ayuda a las organizaciones a utilizar IA generativa para extraer automáticamente información de varios tipos de documentos. El acelerador combina Amazon Bedrock y otros servicios de AWS, incluidos AWS Lambda, AWS Step Functions, Amazon Simple Queue Service (Amazon SQS) y Amazon DynamoDB, para crear un sistema sin servidor. El acelerador IDP GenAI está diseñado para funcionar a escala y puede manejar miles de documentos diariamente. Ofrece tres patrones de procesamiento para que los usuarios creen soluciones personalizadas para flujos de trabajo de procesamiento de documentos complejos. El acelerador se puede implementar utilizando plantillas de AWS CloudFormation y los usuarios pueden comenzar a procesar documentos inmediatamente a través de la interfaz web o cargando archivos directamente en Amazon Simple Storage Service (Amazon S3). El acelerador consta de múltiples módulos como clasificación de documentos, extracción de datos, evaluación, resumen y evaluación. Para obtener más información sobre GenAI IDP Accelerator, consulte Acelere el procesamiento inteligente de documentos con IA generativa en AWS.
Ahora, utilizando consultas en lenguaje natural a través de la función Analytics Agent, puede extraer información valiosa para comprender el rendimiento de la solución. Para acceder a esta función, simplemente implemente la última versión del Acelerador IDP GenAI y elija Agent Companion Chat en el panel de navegación, como se muestra en la siguiente captura de pantalla (de la versión 0.4.7 del acelerador). Las consultas relacionadas con análisis se envían automáticamente al Agente de análisis.
El Agente de Análisis actúa como una interfaz inteligente entre los usuarios empresariales y los datos de sus documentos procesados. Puede manejar consultas complejas que normalmente requerirían un científico de datos capacitado, lo que hace que el análisis avanzado sea accesible para el usuario empresarial promedio. Por ejemplo, un proveedor de atención médica podría preguntar: "¿Qué porcentaje de reclamaciones de seguros se denegaron el mes pasado? De ellas, ¿cuántas se debieron a documentación incompleta? Muéstrenme una tendencia de los motivos de denegación durante los últimos seis meses". O una empresa de contabilidad fiscal podría preguntar: "¿Cuáles de mis clientes pagan impuestos estatales en más de un estado en sus formularios W2?"
La siguiente captura de pantalla es un ejemplo de un análisis que utiliza la función Analytics Agent a través de la interfaz Agent Companion Chat. Un usuario en la vertical de contabilidad preguntó "Haga un histograma de los ingresos brutos de todos los W2 cargados en los últimos 180 días con 25 contenedores entre $0 y $300 000", y el agente analizó los datos extraídos de más de 1000 formularios W2 en menos de un minuto.
Agente de análisis
El agente de análisis se crea utilizando Strands Agents, un SDK de código abierto con un enfoque basado en modelos para crear agentes de IA. El agente, que utiliza varias herramientas, está diseñado para hacer que el trabajo con datos empresariales sea más intuitivo al proporcionar lenguaje natural a los datos y conversión de visualización. El flujo de trabajo del Agente de análisis consta de los siguientes pasos:
El agente utiliza una herramienta de exploración de bases de datos si es necesario para comprender las estructuras de datos almacenadas en las tablas de Amazon Athena dentro de la solución IDP. Esto es necesario porque las tablas dentro de la solución IDP pueden tener esquemas diferentes según cómo los usuarios hayan configurado la canalización de procesamiento. El agente convierte consultas en lenguaje natural en consultas SQL optimizadas y compatibles con las bases de datos y tablas disponibles. Estas consultas pueden escalar a tablas de tamaño arbitrario. El agente ejecuta SQL en Athena y almacena los resultados de las consultas en Amazon S3. Estos resultados pueden tener miles de filas. Corrige y vuelve a ejecutar automáticamente posibles consultas fallidas en función del mensaje de error generado por Athena. El agente transfiere de forma segura los resultados de las consultas desde Amazon S3 a un entorno de pruebas de AWS Bedrock AgentCore Code Interpreter. El agente escribe código Python diseñado para analizar los resultados de la consulta y generar gráficos o tablas en una salida estructurada compatible con la interfaz de usuario. El código se copia en la zona de pruebas y se ejecuta de forma segura allí. Por último, las visualizaciones finales se presentan en la interfaz web para una interpretación sencilla.
El siguiente diagrama ilustra el flujo de trabajo del Agente de análisis.
Descripción general de la solución
El siguiente diagrama de arquitectura ilustra la implementación del agente de análisis sin servidor y su integración con la solución IDP existente a través de la API de AWS AppSync.
El agente de análisis se implementa principalmente dentro de las funciones de Lambda. Cuando se proporciona una consulta de usuario a la API de AppSync desde la interfaz de IDP, una función Lambda de controlador de solicitudes efímeras crea y almacena un ID de trabajo único en DynamoDB para rastrear el flujo de procesamiento asincrónico y lanza una función Lambda de procesador de solicitudes de agente de larga duración que crea una instancia de un agente de Strands y lo inicia. La interfaz sondea el estado del trabajo y recupera los resultados finales (incluidos los de trabajos anteriores) de DynamoDB. La función Lambda del procesador de solicitudes de agente tiene permisos de AWS Identity and Access Management (IAM) para acceder a las tablas IDP en Athena, así como para iniciar y ejecutar un entorno limitado de AgentCore Code Interpreter para una ejecución más segura del código Python.
La arquitectura sigue un diseño que prioriza la seguridad:
Ejecución en espacio aislado: el código Python se ejecuta en AgentCore Code Interpreter, completamente aislado del resto del entorno de AWS y de Internet. Transferencia segura de datos: los resultados de las consultas se transfieren a través de Amazon S3 y las API de AgentCore, no a través de la ventana contextual de un LLM. Gestión de sesiones: las sesiones de AgentCore Code Interpreter se administran y limpian adecuadamente después de su uso. Permisos mínimos: cada componente solicita solo los permisos necesarios de AWS. Registro de auditoría: la solución ofrece registros y monitoreo completos para revisiones de seguridad.
Información inteligente sobre documentos con Analytics Agent
Para demostrar las capacidades del Agente de análisis, procesamos 10,000 documentos del conjunto de datos RVL-CDIP utilizando el Acelerador IDP GenAI. El conjunto de datos, que contiene diversos tipos de documentos, incluidos memorandos, cartas, formularios e informes, se procesó utilizando la configuración del Patrón 2 para extraer información estructurada, incluido el tipo de documento, el remitente, el destinatario y los detalles del departamento. En las siguientes secciones, analizamos los detalles de una única consulta de usuario de muestra.
Consulta del mundo real: análisis de memorandos departamentales
Un usuario empresarial planteó una pregunta sencilla en lenguaje natural: "¿Qué departamentos generan más memorandos?" Esta consulta aparentemente simple requeriría tradicionalmente que un analista de datos completara los siguientes pasos:
Obtener credenciales y conectarse a una base de datos interna Comprender el esquema de la base de datos ejecutando consultas exploratorias o leyendo documentación interna Escriba SQL complejo con la sintaxis adecuada de Athena Ejecute y valide la consulta Procese los resultados y cree visualizaciones Formatee los resultados para su presentación
El agente de análisis manejó todo este flujo de trabajo de forma autónoma en menos de 60 segundos.
Visualización generada utilizando el Agente de Analytics
La siguiente figura muestra la visualización que generó el agente en función de una única consulta en lenguaje natural.
El análisis reveló que Lorillard generó la mayor cantidad de memorandos (11 documentos), seguido por los departamentos de INBIFO, Asuntos Corporativos y Philip Morris (10 documentos cada uno). La visualización mostró la distribución entre las principales unidades organizativas, con los departamentos corporativos y de investigación del tabaco dominando la generación de memorandos. Si el usuario desea un estilo de visualización diferente, puede alternar rápidamente entre varias opciones, como gráficos circulares, gráficos de líneas y gráficos de barras. También pueden mostrar los resultados en forma de tabla. Cambiamos el gráfico de barras original que creó a un gráfico de anillos por motivos estéticos en esta publicación de blog.
Proceso de pensamiento del agente
El proceso de razonamiento transparente del agente revela la orquestación integral que ocurre detrás de escena.
El agente primero exploró la estructura de la base de datos, identificó la tabla document_sections_memo y descubrió la columna inference_result.department que contiene la información necesaria.
El agente creó una consulta de Athena optimizada con citas de columnas adecuadas y manejo de nulos, que se puede mostrar haciendo clic en "Ver detalles" en la ventana de chat:
Después de recuperar departamentos únicos de los resultados de la consulta, el agente realizó automáticamente las siguientes acciones:
Generé código Python para analizar y visualizar los datos. Copié el código Python y los resultados de la consulta SQL en una zona de pruebas segura de AgentCore Code Interpreter. Ejecuté el código Python dentro de la zona de pruebas, devolviendo un diccionario JSON con datos de gráficos. Identifiqué y solucioné un problema con un valor NaN en los datos. Creé un gráfico de barras horizontales destacando los 15 departamentos principales. Formateé la salida para una visualización web perfecta.
El código Python que escribió para cargar los resultados de la consulta en la memoria de la zona de pruebas y generar un gráfico para mostrar en la interfaz se puede mostrar haciendo clic en "Ver detalles" en la ventana de chat (captura de pantalla recortada para mayor brevedad):
Capacidades del agente
Este ejemplo muestra tres capacidades transformadoras:
Resolución de problemas autónoma: el agente descubrió de forma independiente el esquema de la base de datos, identificó la tabla y las columnas correctas y manejó los problemas de calidad de los datos (valores nulos) sin intervención humana. Esto significa que el agente puede trabajar en diferentes documentos analizados por la solución IDP, independientemente del tipo de documento o de las configuraciones de procesamiento IDP. Razonamiento adaptativo: cuando el agente detectó valores nulos en la visualización inicial, corrigió automáticamente el problema filtrando los datos y regenerando el gráfico, demostrando capacidades de autocorrección. Interpretabilidad de un extremo a otro: todo el flujo de trabajo, desde la consulta en lenguaje natural hasta la visualización pulida, se ejecuta en 90 segundos con total transparencia. Los usuarios pueden revisar cada decisión que tomó el agente a través del registro detallado del proceso de pensamiento.
Analytics Agent transforma los datos de los documentos procesados en inteligencia procesable, ayudando a los usuarios empresariales a explorar su corpus de documentos con la misma facilidad con la que hacen una pregunta a un colega. Esta democratización del análisis de datos garantiza que los conocimientos valiosos no queden encerrados detrás de barreras técnicas y que sean accesibles de inmediato para los tomadores de decisiones en toda la organización.
Cómo los clientes pueden utilizar esta función
El poder de esta característica radica en su capacidad de democratizar el análisis de datos, convirtiendo a los usuarios empresariales en analistas de datos mediante el simple poder de la conversación. Los clientes pueden utilizar esta función en los siguientes casos de uso:
Información empresarial instantánea: haga preguntas complejas en un lenguaje sencillo, como "¿Qué porcentaje de facturas superó los 50 000 dólares el último trimestre?" Obtenga visualizaciones inmediatas de tendencias y patrones con consultas como "¿Cómo ha evolucionado el valor promedio de las facturas durante los últimos 12 meses?" Tome decisiones basadas en datos sin esperar a que los equipos de TI o ciencia de datos realicen consultas como "Muéstrenme qué empleados de la oficina de Seattle enviaron la mayor cantidad de facturas". Monitoreo de riesgos y cumplimiento: detecte anomalías en tiempo real con consultas como "Muéstrame todos los contratos a los que les faltan cláusulas obligatorias". Realice un seguimiento de las tasas de cumplimiento en todos los tipos de documentos. Identifique documentos de alto riesgo que requieran atención inmediata. Excelencia operativa: supervise los cuellos de botella en el procesamiento con consultas como "¿Qué tipos de documentos tienen los tiempos de procesamiento más largos?" Realice un seguimiento de las tasas de precisión en diferentes categorías de documentos. Optimice la asignación de recursos en función de patrones de volumen. Mejora de la experiencia del cliente: analice métricas de procesamiento específicas del cliente con consultas como "¿Qué tan cerca estamos de agotar nuestro presupuesto de asignación de procesamiento mensual de $100 este mes?" Identificar oportunidades para la automatización de procesos. Realice un seguimiento del cumplimiento del SLA en tiempo real con consultas como "¿Qué facturas procesadas aún no tienen un recibo de pago procesado asociado?" Planificación estratégica: Pronostique los volúmenes de procesamiento basándose en patrones históricos con consultas como "Esperamos que nuestra cantidad de documentos cargados aumente un 20% año tras año. ¿Cuántos documentos esperamos procesar en los próximos cinco años?" Identifique las tendencias estacionales y planifique en consecuencia. Realice un seguimiento de las métricas de ROI para inversiones en procesamiento de documentos. Tome decisiones basadas en datos para escalar el sistema.
Mejores prácticas
Considere las siguientes mejores prácticas al utilizar el Agente de análisis:
Comience de manera amplia: comience con preguntas generales antes de profundizar en lo específico. Sea específico: indique claramente qué información está buscando. No tema proporcionar un párrafo completo que describa lo que necesita, si es necesario. Utilice consultas de seguimiento: aproveche lo aprendido en preguntas anteriores para explorar temas en profundidad. Los mensajes de chat enviados en Agent Companion Chat tienen estado, lo que le permite hacer preguntas de seguimiento. Verifique los resultados: verifique que las visualizaciones tengan sentido para sus datos y lea el proceso de pensamiento del agente mostrado para validar las decisiones que tomó.
Integración con sistemas de IA agentes externos
El Agente de análisis se puede integrar fácilmente en otros sistemas de IA agentes, como Amazon Quick Suite, a través del nuevo servidor Model Context Protocol (MCP) de IDP Accelerator. Las organizaciones pueden incorporar capacidades de análisis de documentos en sus flujos de trabajo de IA y plataformas de automatización más amplios mediante esta integración. Para obtener orientación de implementación y detalles técnicos, consulte la documentación de integración de MCP.
Limpiar
Cuando haya terminado de experimentar con la función Análisis del agente, tendrá dos opciones de limpieza según sus necesidades:
Eliminar consultas de análisis individuales: navegue a la sección Análisis de agentes en la interfaz de usuario web y use el panel "cargar chat anterior" para eliminar consultas específicas. Como alternativa, puede eliminar entradas de consulta directamente desde la tabla de trabajos de análisis de DynamoDB asociada con su pila. Eliminar toda la implementación de IDP: utilice la consola de CloudFormation para eliminar la pila de IDP. Para una limpieza automatizada con vaciado del depósito de S3, puede utilizar la CLI de IDP:
idp-cli eliminar –stack-name mi-idp-stack –empty-buckets –force
Para obtener opciones y procedimientos de limpieza más detallados, consulte la documentación de la CLI de IDP.
Conclusión
En esta publicación, analizamos la nueva función Analytics Agent para GenAI IDP Accelerator, un agente autónomo creado en Strands que ayuda a los usuarios no técnicos a analizar y comprender los documentos que han procesado a escala con lenguaje natural. Con este agente, los usuarios ya no necesitan experiencia en SQL ni conocimiento de las estructuras de bases de datos subyacentes para recuperar datos o generar visualizaciones.
Visite el repositorio de GitHub del Acelerador GenAI IDP para obtener guías detalladas y ejemplos y elija Ver para mantenerse informado sobre nuevos lanzamientos y funciones. Los servicios profesionales de AWS y los socios de AWS están disponibles para ayudar con la implementación. También puedes unirte a la comunidad de GitHub para aportar mejoras y compartir tus experiencias.
Sobre los autores
David Kaleko es científico aplicado sénior en el Centro de innovación de IA generativa de AWS, donde lidera los esfuerzos de investigación aplicada sobre estrategias de implementación de IA generativa de vanguardia para los clientes de AWS. Tiene un doctorado en física de partículas de la Universidad de Columbia.
Tryambak Gangopadhyay es científico aplicado senior en el Centro de innovación de IA generativa de AWS, donde colabora con organizaciones de un espectro diverso de industrias. Su función implica investigar y desarrollar soluciones de IA generativa para abordar desafíos comerciales cruciales y acelerar la adopción de la IA. Antes de unirse a AWS, Tryambak completó su doctorado en la Universidad Estatal de Iowa.
Mofijul Islam es científico aplicado II y líder tecnológico en el Centro de innovación de IA generativa de AWS, donde ayuda a los clientes a abordar los desafíos comerciales y de investigación centrados en el cliente utilizando IA generativa, grandes modelos de lenguaje, aprendizaje multiagente, generación de código y aprendizaje multimodal. Tiene un doctorado en aprendizaje automático de la Universidad de Virginia, donde su trabajo se centró en el aprendizaje automático multimodal, la PNL multilingüe y el aprendizaje multitarea. Su investigación ha sido publicada en conferencias de primer nivel como NeurIPS, ICLR, EMNLP, AISTATS y AAAI, así como en IEEE y ACM Transactions.
Jordan Ratner es estratega senior de IA generativa en Amazon Web Services, donde ayuda a empresas de diferentes tamaños a diseñar, implementar y escalar soluciones de IA. Anteriormente cofundó la práctica global de IA de Deloitte y dirigió OneReach.ai como socio director, escalando implementaciones de IA generativa y conversacional en todo el mundo. Jordan ahora se centra en convertir las tendencias de IA en rápida evolución en productos y marcos reutilizables, impulsando una adopción real en todas las industrias.
Bob Strahan es arquitecto principal de soluciones en el Centro de innovación de IA generativa de AWS.