Esta es una publicación invitada coescrita con David Meredith y Josh Zacharias de Associa.
Associa, la empresa de gestión comunitaria más grande de Norteamérica, supervisa aproximadamente a 7,5 millones de propietarios de viviendas con 15.000 empleados en más de 300 sucursales. La empresa gestiona aproximadamente 48 millones de documentos en 26 TB de datos, pero su sistema de gestión de documentos existente carece de capacidades de clasificación automatizadas eficientes, lo que dificulta la organización y recuperación de documentos en múltiples tipos de documentos. Todos los días, los empleados pasan incontables horas categorizando y organizando manualmente los documentos entrantes, un proceso que requiere mucho tiempo y es propenso a errores que crea cuellos de botella en la eficiencia operativa y potencialmente resulta en retrasos operativos y reducción de la productividad.
Associa colaboró con el Centro de innovación de IA generativa de AWS para crear un sistema de clasificación de documentos impulsado por IA generativa que se alinee con la visión a largo plazo de Associa de utilizar IA generativa para lograr eficiencias operativas en la gestión de documentos. La solución clasifica automáticamente los documentos entrantes con alta precisión, procesa los documentos de manera eficiente y proporciona ahorros sustanciales de costos manteniendo la excelencia operativa. El sistema de clasificación de documentos, desarrollado utilizando el Acelerador de procesamiento inteligente de documentos con IA generativa (GenAI IDP), está diseñado para integrarse perfectamente en los flujos de trabajo existentes. Revoluciona la forma en que los empleados interactúan con los sistemas de gestión de documentos al reducir el tiempo dedicado a tareas de clasificación manual.
Esta publicación analiza cómo Associa utiliza Amazon Bedrock para clasificar automáticamente sus documentos y ayudar a mejorar la productividad de los empleados.
Descripción general de la solución
GenAI IDP Accelerator es una solución de procesamiento de documentos basada en la nube construida en AWS que extrae y organiza automáticamente información de varios tipos de documentos. El sistema utiliza tecnología OCR e IA generativa para convertir documentos no estructurados en datos estructurados y utilizables mientras se escala sin problemas para manejar grandes volúmenes de documentos.
El acelerador está construido con un diseño modular flexible que utiliza plantillas de AWS CloudFormation que pueden manejar diferentes tipos de procesamiento de documentos mientras comparten la infraestructura central para la gestión de trabajos, el seguimiento del progreso y el monitoreo del sistema. El acelerador admite tres patrones de procesamiento. Usamos el Patrón 2 para esta solución usando OCR (Amazon Textract) y clasificación (Amazon Bedrock). El siguiente diagrama ilustra esta arquitectura.
Optimizamos el flujo de trabajo de clasificación de documentos evaluando tres aspectos clave:
Entrada rápida: documento PDF completo (todas las páginas) versus solo la primera página Diseño rápido: solicitud multimodal con datos OCR (usando Amazon Textract analyse_document_layout) versus solo imagen del documento Elección de modelo: Amazon Nova Lite, Amazon Nova Pro, Amazon Nova Premier y Claude Sonnet 4 de Anthropic en Amazon Bedrock
Este marco de evaluación integral nos ayudó a identificar la configuración que ofrece la mayor precisión y al mismo tiempo minimiza los costos de inferencia de procesamiento para los tipos de documentos y requisitos operativos específicos de Associa. El conjunto de datos de evaluación consta de 465 documentos PDF en ocho tipos de documentos distintos. El conjunto de datos incluye algunas muestras identificadas como borradores de documentos o correspondencias por correo electrónico. Estas muestras se clasifican como tipo de documento Desconocido debido a criterios de clasificación insuficientes. La distribución de tipos de documentos entre clases no está equilibrada y varía desde 6 muestras para Políticas y Resoluciones hasta 155 muestras para Actas.
Evaluación: entrada inmediata
Comenzamos nuestra evaluación inicial utilizando documentos PDF completos, donde todas las páginas de un PDF se utilizaron como entrada para el mensaje de clasificación. La siguiente tabla muestra la precisión de la clasificación completa de PDF utilizando Amazon Nova Pro con OCR e imagen. Observamos una precisión de clasificación promedio del 91% considerando los diferentes tipos de documentos con un costo promedio de 1,10 centavos por documento.
Tipo de documento Número de muestras Número de muestras clasificadas correctamente Clasificación Precisión Clasificación Costo (en centavos) Estatutos 46 42 91% 1.52c Declaraciones CCR 22 19 86% 1.55c Certificado de seguro 74 74 100% 1.49c Contratos 71 66 93% 1.48c Actas 155 147 95% 1,47c Mapa Plat 21 20 95% 1,45c Políticas y resoluciones 6 5 83% 0,35c Normas y reglamentos 50 44 88% 0,36c Desconocido 20 8 40% 0,24c Total 465 425 91% 1,10c
El uso de PDF completo para la clasificación de documentos demuestra una precisión del 100 % para el certificado de seguro y del 95 % para las actas. El sistema clasificó correctamente 425 de 465 documentos. Sin embargo, para el tipo de documento Desconocido, logró solo un 40% de precisión, clasificando correctamente solo 8 de 20 documentos.
A continuación, experimentamos usando solo la primera página de un documento PDF para la clasificación, como se muestra en la siguiente tabla. Este enfoque mejoró la precisión general del 91 % al 95 % con 443 de 465 documentos clasificados correctamente y al mismo tiempo redujo el costo de clasificación por documento de 1,10 centavos a 0,55 centavos.
Tipo de documento Número de muestras Número de muestras clasificadas correctamente Clasificación Precisión Clasificación Costo (en centavos) Estatutos 46 44 96% 0.55c Declaraciones CCR 22 21 95% 0.55c Certificado de seguro 74 74 100% 0.59c Contratos 71 64 90% 0.56c Actas 155 153 99% 0,55c Mapa Plat 21 17 81% 0,56c Políticas y resoluciones 6 4 67% 0,57c Normas y reglamentos 50 49 98% 0,56c Desconocido 20 17 85% 0,55c Total 465 443 95% 0,55c
Además de mejorar la precisión y reducir los costos, el enfoque de solo la primera página mejoró significativamente la precisión de la clasificación de documentos desconocidos del 40% al 85%. Las primeras páginas suelen contener las características más distintivas del documento, mientras que las páginas posteriores en borradores o hilos de correo electrónico pueden introducir ruido que confunde al clasificador. Combinado con velocidades de procesamiento más rápidas y menores costos de infraestructura, seleccionamos el enfoque de solo la primera página para las evaluaciones posteriores.
Evaluación: diseño rápido
A continuación, experimentamos con un diseño rápido para evaluar si los datos OCR son necesarios para la clasificación de documentos o si simplemente usar la imagen del documento es suficiente. Lo evaluamos eliminando los datos de extracción de texto OCR del mensaje y usando solo la imagen en un mensaje multimodal. Este enfoque elimina los costos de Amazon Textract y se basa completamente en la comprensión del modelo de las características visuales. La siguiente tabla muestra la precisión de la clasificación de solo la primera página utilizando Amazon Nova Pro con solo una imagen.
Tipo de documento Número de muestras Número de muestras clasificadas correctamente Clasificación Precisión Clasificación Costo (en centavos) Estatutos 46 45 98% 0,19c Declaraciones CCR 22 20 91% 0,19c Certificado de seguro 74 74 100% 0,18c Contratos 71 63 89% 0,18c Actas 155 151 97% 0,18c Mapa Plat 21 18 86% 0,19c Políticas y resoluciones 6 4 67% 0,18c Normas y reglamentos 50 48 96% 0,18c Desconocido 20 10 50% 0,18c Total 465 433 93% 0,18c
El enfoque de clasificación de sólo imágenes demuestra problemas similares a los del enfoque de clasificación de PDF completo. Aunque este método logra una precisión general del 93 %, para los tipos de documentos desconocidos, solo podría clasificar correctamente 10 de 20 documentos con una precisión del 50 %. La siguiente tabla resume nuestra evaluación de un enfoque de solo imágenes.
Precisión de clasificación general (todos los tipos de documentos, incluidos los desconocidos) Precisión de clasificación (tipo de documento: desconocido) Costo de clasificación (en centavos) Clasificación solo en la primera página (OCR + imagen) 95% 85% 0,55c Clasificación solo en la primera página (solo imagen) 93% 50% 0,18c
El enfoque de sólo imagen elimina los costos de OCR pero reduce la precisión general del 95 % al 93 % y la precisión del documento desconocido del 85 % al 50 %. La clasificación precisa de documentos desconocidos es fundamental para la revisión humana posterior y la eficiencia operativa en Associa. Seleccionamos el enfoque combinado de OCR e imagen para mantener esta capacidad.
Evaluación: elección del modelo
Utilizando la configuración óptima de clasificación de solo la primera página con OCR e imagen, evaluamos diferentes modelos para identificar un equilibrio óptimo entre precisión y costo, como se resume en la siguiente tabla. Nos centramos en el rendimiento general de la clasificación, la clasificación de documentos desconocidos y los costos de clasificación por documento.
Precisión de clasificación general (todos los tipos de documentos, incluido el desconocido) Precisión de clasificación (tipo de documento: desconocido) Costo de clasificación (en centavos) Amazon Nova Pro 95% 85% 0,55c Amazon Nova Lite 95% 50% 0,41c Amazon Nova Premier 96% 90% 1,12c Claude Sonnet antrópico 4 95% 95% 1,21c
La precisión general de la clasificación osciló entre el 95 % y el 96 % en todos los modelos, con variaciones en el rendimiento del tipo de documento desconocido. El certificado de seguro, el mapa de plataforma y las actas lograron una precisión del 98 % al 100 % en todos los modelos. Claude Sonnet 4 de Anthropic logró la mayor precisión de documentos desconocidos (95%), seguido de Amazon Nova Premier (90%) y Amazon Nova Pro (85%). Sin embargo, Claude Sonnet 4 de Anthropic aumentó el costo de clasificación de 0,55 centavos a 1,21 centavos por documento. Amazon Nova Premier logró la mejor precisión de clasificación general con 1,12 centavos por documento. Teniendo en cuenta las ventajas y desventajas entre precisión y costo, seleccionamos Amazon Nova Pro como la opción de modelo óptima.
Conclusión
Associa creó un sistema generativo de clasificación de documentos impulsado por IA utilizando Amazon Nova Pro en Amazon Bedrock que logra una precisión del 95 % a un costo promedio de 0,55 centavos por documento. El acelerador IDP de GenAI facilita la ampliación confiable del rendimiento a un gran volumen de documentos en todas sus sucursales. "La solución desarrollada por el Centro de innovación de IA generativa de AWS mejora la forma en que nuestros empleados administran y organizan documentos, y prevemos una reducción significativa del esfuerzo manual en el procesamiento de documentos", afirma Andrew Brock, presidente de servicios digitales y tecnológicos y director de información de Associa. "El sistema de clasificación de documentos proporciona ahorros sustanciales de costos y mejoras operativas, al mismo tiempo que mantiene nuestros altos estándares de precisión en el servicio a comunidades residenciales".
Consulte el repositorio de GitHub del Acelerador GenAI IDP para obtener ejemplos detallados y elija Ver para mantenerse informado sobre los nuevos lanzamientos. Si desea trabajar con el Centro de innovación AWS GenAI, comuníquese con nosotros o deje un comentario.
Expresiones de gratitud
Nos gustaría agradecer a Mike Henry, Bob Strahan, Marcelo Silva y Mofijul Islam por sus importantes contribuciones, decisiones estratégicas y orientación en todo momento.
Sobre los autores
David Meredith 
es Director de Desarrollo de Software para Empleados en Associa. Supervisa los esfuerzos del equipo de Associa para crear software para que sus 15.000 empleados lo utilicen a diario. Tiene casi 20 años de experiencia con software en la industria de administración de propiedades residenciales y vive en el área de Vancouver en BC, Canadá.
Josh Zacharias es desarrollador de software en Associa, donde es ingeniero principal del equipo de software interno. Su trabajo incluye diseñar soluciones completas para varios departamentos de la empresa, así como capacitar a otros desarrolladores para que sean expertos más eficientes en el desarrollo de software.
Monica Raj es arquitecta de aprendizaje profundo en el Centro de innovación de IA generativa de AWS, donde trabaja con organizaciones de diversas industrias para desarrollar soluciones de IA. Su trabajo se centra en la creación e implementación de soluciones de IA agente, procesamiento de lenguaje natural, automatización de centros de contacto y procesamiento inteligente de documentos. Mónica tiene una amplia experiencia en la creación de soluciones de IA escalables para clientes empresariales.
Tryambak Gangopadhyay es científico aplicado senior en el Centro de innovación de IA generativa de AWS, donde colabora con organizaciones de un espectro diverso de industrias. Su función implica investigar y desarrollar soluciones de IA generativa para abordar desafíos comerciales cruciales y acelerar la adopción de la IA. Antes de unirse a AWS, Tryambak completó su doctorado en la Universidad Estatal de Iowa.
Nkechinyere Agu es científica aplicada en el Centro de innovación de IA generativa de AWS, donde trabaja con organizaciones de diversas industrias para desarrollar soluciones de IA. Su trabajo se centra en el desarrollo de soluciones de IA multimodal, soluciones de IA agente y procesamiento del lenguaje natural. Antes de unirse a AWS, Nkechinyere completó su doctorado en el Instituto Politécnico Rensselaer, Troy NY.
Naman Sharma es estratega de IA generativa en el Centro de innovación de IA generativa de AWS, donde colabora con organizaciones para impulsar la adopción de IA generativa para resolver problemas comerciales a escala. Su trabajo se centra en liderar a los clientes desde el alcance, la implementación y la ampliación de soluciones de vanguardia con los equipos de Estrategia y Ciencias Aplicadas de GenAIIC.
Yingwei Yu es gerente de ciencias aplicadas en el Centro de Innovación de IA Generativa, con sede en Houston, Texas. Con amplia experiencia en aprendizaje automático aplicado e inteligencia artificial generativa, Yingwei lidera el desarrollo de soluciones innovadoras en diversas industrias.
Dwaragha Sivalingam es arquitecto senior de soluciones especializado en IA generativa en AWS y actúa como asesor confiable para los clientes sobre transformación de la nube y estrategia de IA. Con ocho certificaciones de AWS, incluida ML Specialty, ha ayudado a clientes de muchas industrias, incluidas las de seguros, telecomunicaciones, servicios públicos, ingeniería, construcción y bienes raíces. Entusiasta del aprendizaje automático, equilibra su vida profesional con el tiempo en familia, disfrutando de viajes por carretera, películas y fotografías con drones.