Muchas empresas de todos los sectores todavía dependen de procedimientos manuales laboriosos y propensos a errores para manejar documentos, especialmente aquellos que se envían por correo electrónico. A pesar de la disponibilidad de tecnología que puede digitalizar y automatizar los flujos de trabajo de documentos a través de la automatización inteligente, las empresas todavía dependen principalmente del procesamiento manual de documentos que requiere mucha mano de obra. Esto representa una gran oportunidad para que las empresas optimicen este flujo de trabajo, ahorren tiempo y dinero y mejoren la precisión modernizando el anticuado manejo manual de documentos con el procesamiento inteligente de documentos (IDP) en AWS. Para extraer información clave de grandes volúmenes de documentos de correos electrónicos y diversas fuentes, las empresas necesitan una automatización integral capaz de ingerir correos electrónicos, cargar archivos e integraciones de sistemas para un procesamiento y análisis fluidos. La automatización inteligente presenta una oportunidad de revolucionar los flujos de trabajo documentales en todos los sectores mediante la digitalización y la optimización de procesos.
Esta publicación explica una inteligencia artificial generativa (IA) técnica para extraer información de correos electrónicos y archivos adjuntos comerciales. Examina cómo la IA puede optimizar los procesos de flujo de trabajo financiero al resumir automáticamente documentos, extraer datos y categorizar información de archivos adjuntos de correo electrónico. Esto permite a las empresas atender a más clientes, dirigir a los empleados a tareas de mayor valor, acelerar los procesos, reducir los gastos, mejorar la precisión de los datos y aumentar la eficiencia.
Desafíos de la extracción manual de datos
Actualmente, la mayoría de los sectores empresariales tienen dificultades con el procesamiento manual de documentos y leen los correos electrónicos y sus archivos adjuntos sin el uso de un sistema automatizado. Estos procedimientos cuestan dinero, toman mucho tiempo y son propensos a cometer errores. Los procedimientos manuales luchan por mantenerse al día con la cantidad de documentos. Es difícil encontrar información relevante que sea necesaria para las decisiones comerciales. Por lo tanto, existe una demanda de ciclos de decisión más cortos y un procesamiento de documentos más rápido. El objetivo de esta publicación es ayudar a las empresas que procesan documentos manualmente a acelerar la entrega de datos derivados de esos documentos para su uso en operaciones comerciales. Al reducir el tiempo y los gastos continuos asociados con los flujos de trabajo manuales, las organizaciones pueden mejorar la productividad, la capacidad de respuesta y la innovación a través del análisis de datos.
En el pasado, el reconocimiento óptico de caracteres (OCR) funcionaba bien para documentos impecables, pero el rendimiento de esos sistemas antiguos frecuentemente no satisfacía las necesidades de los clientes cuando la calidad de los documentos era imperfecta. Debido a que los errores son inevitables en los procesos manuales y verificar cada tarea puede ser costoso y llevar mucho tiempo, se introduce variabilidad en los flujos de trabajo. Las empresas con fluctuaciones estacionales en la demanda de los clientes enfrentan desafíos en el procesamiento de documentos de personal para mantener un servicio al cliente rápido. La clave es extraer eficientemente los datos más importantes de un extenso papeleo para permitir decisiones rápidas. Por ejemplo, una solicitud de hipoteca puede tener más de mil páginas, pero sólo una docena de puntos de datos influyen de manera crítica en la decisión crediticia. El truco consiste en identificar esos detalles clave entre la avalancha de información para poder realizar aprobaciones de préstamos oportunas y al mismo tiempo brindar un excelente servicio al solicitante.
Esta publicación explora cómo la IA generativa puede hacer que trabajar con documentos comerciales y archivos adjuntos de correo electrónico sea más sencillo. Ejemplos de consideraciones comerciales incluyen industrias financieras que han experimentado un aumento en su base de usuarios. Necesitan una solución de automatización administrativa para extraer detalles de correos electrónicos y archivos adjuntos, resumir el contenido para enviarlo, clasificar los documentos y el contenido y asignar documentos a revisores humanos si es necesario. Al mismo tiempo, la solución debe proporcionar seguridad de los datos, como el cumplimiento de PII y SOC.
Descripción general de la solución
El código adjunto para esta solución está disponible en el repositorio de GitHub. La solución cubre dos pasos para implementar IA generativa para la automatización del correo electrónico:
- Extracción de datos de archivos adjuntos de correo electrónico y clasificación mediante varias etapas de procesamiento inteligente de documentos (PDI). IDP es un término industrial utilizado para describir el mecanismo para procesar y extraer información de documentos estructurados, semiestructurados y no estructurados utilizando IA y aprendizaje automático (ML).
- Resumen de datos utilizando modelos de lenguaje grandes (LLM).
La siguiente figura proporciona una descripción general de alto nivel de los pasos del proceso que puede seguir mientras desarrolla su solución IDP.
La etapa de captura de datos es donde los documentos se extraen de los correos electrónicos, se compilan y se almacenan de forma segura como documentos de entrada. En ocasiones puede haber diferentes tipos de documentos y ningún método automático para identificarlos y categorizarlos. Sin embargo, puede omitir el proceso de clasificación e ir directamente a la siguiente etapa, que consiste en extraer información con precisión de sus documentos. En la etapa de enriquecimiento, puede tomar los datos y el lenguaje de los documentos y aplicarlos de manera significativa para mejorar esos datos. Una revisión humana es la última etapa del proceso, que le permite solicitar una evaluación humana de los datos que se han extraído con un bajo grado de precisión. Los clientes en áreas altamente reguladas como servicios financieros y atención médica están agregando evaluaciones humanas a sus canales para revisar los puntos de datos.
Esta solución ofrece los siguientes beneficios clave:
- Elasticidad – Tiene la flexibilidad de ampliar o reducir según las necesidades del negocio.
- Innovación – Puede automatizar la extracción de datos de documentos provenientes de canales de correo electrónico.
- Ahorro de costes – Puede optimizar los costos relacionados con el esfuerzo manual y el costo operativo asociado.
Flujo de trabajo de extracción de datos
La siguiente figura muestra una representación de alto nivel de las posibles etapas de optimización de los flujos de trabajo financieros para construir nuestra solución.
En la fase inicial, el objetivo es recopilar y compilar de forma segura datos de documentos, incluidos los archivos adjuntos de correo electrónico. Sin embargo, si ya tiene documentos identificables, puede omitir el proceso de clasificación y pasar directamente a la siguiente fase. En el segundo paso, extrae información con precisión de sus documentos. En el tercer paso, puede utilizar texto y datos extraídos para crear mejoras significativas para estos documentos. El cuarto y último paso implica el uso de modelos básicos (FM) para estandarizar claves y valores. Esta etapa se centra en refinar los datos del formulario, incluidos elementos como el nombre, el formato del número de teléfono, etc., en los formatos específicos requeridos por los clientes individuales. Luego, los datos transformados se adaptan para que coincidan con los formatos requeridos por sus bases de datos posteriores. En los casos en los que la puntuación de confianza sea baja o en industrias sujetas a regulaciones estrictas, los datos del formulario pueden enviarse a una revisión humana. Estas etapas automatizadas se pueden utilizar juntas o por separado, lo que resulta en importantes reducciones de costos, eliminación del esfuerzo manual y mejora de los resultados del procesamiento de documentos para su negocio.
Arquitectura de AWS
La siguiente figura ilustra la arquitectura extendida del sistema de muestra y explica cómo puede utilizar los servicios de AWS para integrar el proceso de un extremo a otro.
Una vez que se reciben los archivos adjuntos del correo electrónico entrante y los documentos de entrada se almacenan de forma segura, los servicios de procesamiento de documentos de AWS y los FM ayudan con la extracción y el resumen en el formato deseado:
- Servicio de almacenamiento simple de Amazon (Amazon S3) almacena documentos en archivos de varios formatos, originados en salas de correo físicas o digitales, archivos adjuntos de correo electrónico o cargas de usuarios desde aplicaciones web o móviles, lo que permite un procesamiento eficiente y escalabilidad.
- Extracto de Amazon utiliza el poder de la PNL y otros avances de ML cultivados a lo largo de los años, lo que permite capacidades más allá de las tecnologías OCR convencionales. Amazon Textract extrae automáticamente texto impreso, escritura a mano, elementos de diseño y otros datos, como pares clave-valor e información tabular, de cualquier documento o imagen.
- Amazon comprender puede clasificar y extraer automáticamente información del texto, lo que también proporciona capacidades de PNL. Tiene modelos pre-entrenados que identifican entidades como lugares, personas, marcas o eventos; determinar el idioma del texto; extraer frases clave; comprender cuán positivo o negativo es el sentimiento del texto; y organizar automáticamente una colección de archivos de texto por tema.
- Roca Amazónica es una plataforma de nube empresarial de AWS que proporciona una forma sencilla de crear y escalar aplicaciones de IA generativa con FM. Proporciona las herramientas y la infraestructura necesarias para implementar, monitorear, escalar y gobernar modelos de IA/ML sin esfuerzo y de manera rentable. Luego podrá tener conversaciones naturales con los modelos LLM disponibles en Amazon Bedrock para obtener información a partir de los datos vectorizados.
Nuestro repositorio de GitHub demuestra cómo combinar Amazon Textract y LangChain para extraer datos de documentos y utilizar IA generativa dentro de diferentes etapas de IDP. Estos ejemplos demuestran el uso de varios LLM.
Requisitos previos
Antes de comenzar a desarrollar el flujo de trabajo del documento, debe completar algunos pasos previos. Referirse a repositorio de GitHub para obtener detalles sobre cómo puede integrar Amazon Textract con LangChain como cargador de documentos para extraer datos de documentos y utilizar capacidades de IA generativa dentro de las distintas fases de IDP. Las siguientes importaciones son específicas de la extracción de documentos del correo electrónico:
Leer correos electrónicos y archivos adjuntos
La configuración de UnstructuredEmailLoader se explica en el siguiente código, que también resume el contenido del correo electrónico:
Limpiar
Siga los pasos de limpieza especificados en el repositorio de GitHub para limpiar tus recursos.
Conclusión
En esta publicación, explicamos cómo optimizar los flujos de trabajo financieros con IA generativa para la automatización del correo electrónico, incluida la extracción de datos de archivos adjuntos de correo electrónico, la clasificación de documentos y el resumen y procesamiento de documentos con IDP para obtener información. Al examinar las distintas etapas del proceso de IDP, puede mejorar su propio proceso de IDP con flujos de trabajo de LLM.
Para ampliar esta solución, considere lo siguiente:
- Utilice la correlación de recuperación de generación aumentada (RAG) de datos personalizados en su LLM
- Mantenga la privacidad de los datos resumidos y acepte las fuentes de datos existentes como entradas aumentadas para el resultado de su decisión deseada.
Para obtener más información, consulte los siguientes recursos:
Sobre el Autor
Hariharan Nammalvar es Arquitecto de Soluciones en AWS, profesional de la tecnología con más de 20 años de experiencia. Tiene una trayectoria comprobada en el diseño e implementación de soluciones innovadoras que resuelven desafíos comerciales complejos. Ha trabajado con una amplia gama de industrias, diferentes dominios de clientes les ayudaron a aprovechar el aprendizaje automático y la inteligencia artificial para optimizar las operaciones, mejorar la eficiencia y mejorar las experiencias de los clientes.
Raghavarao Sodabathina es arquitecto principal de soluciones en AWS y se centra en análisis de datos, IA/ML y plataforma sin servidor. Se relaciona con los clientes para crear soluciones innovadoras que aborden los problemas comerciales de los clientes y aceleren la adopción de los servicios de AWS. En su tiempo libre, Raghavarao disfruta pasar tiempo con su familia, leer libros y ver películas.