Dado el valor de los datos hoy en día, las organizaciones de diversas industrias están trabajando con grandes cantidades de datos en múltiples formatos. Revisar y procesar manualmente esta información puede ser una tarea desafiante y que requiere mucho tiempo, con un margen para posibles errores. Aquí es donde el procesamiento inteligente de documentos (IDP), junto con el poder de IA generativasurge como una solución revolucionaria.
Mejorar las capacidades de IDP es la integración de IA generativa, que aprovecha grandes modelos de lenguaje (LLM) y técnicas generativas para comprender y generar texto similar al humano. Esta integración permite a las organizaciones no solo extraer datos de los documentos, sino también interpretar, resumir y generar conocimientos a partir de la información extraída, lo que permite flujos de trabajo de procesamiento de documentos más inteligentes y automatizados.
El Autoridad de Calidad de la Educación y la Formación (BQA) desempeña un papel fundamental en la mejora de la calidad de los servicios de educación y formación en el Reino de Bahrein. BQA revisa el desempeño de todas las instituciones de educación y capacitación, incluidas escuelas, universidades e institutos vocacionales, promoviendo así el avance profesional del capital humano de la nación.
BQA supervisa un proceso integral de garantía de calidad, que incluye el establecimiento de estándares de desempeño y la realización de revisiones objetivas de las instituciones de educación y capacitación. El proceso implica la recopilación y el análisis de documentación extensa, incluidos informes de autoevaluación (SER), evidencia de respaldo y diversos formatos de medios de las instituciones que se están revisando.
La colaboración entre BQA y AWS se facilitó a través de la Centro de innovación en la nube (CIC), una iniciativa conjunta de AWS, Tamkeeny universidades líderes en Bahrein, incluidas Politécnico de Bahrein y Universidad de Bahréin. El programa CIC tiene como objetivo fomentar la innovación dentro del sector público proporcionando un entorno de colaboración donde las entidades gubernamentales pueden trabajar en estrecha colaboración con consultores de AWS y estudiantes universitarios para desarrollar soluciones de vanguardia utilizando las últimas tecnologías en la nube.
Como parte del programa CIC, BQA ha creado una solución de prueba de concepto, aprovechando el poder de los servicios de AWS y las capacidades de IA generativa. El objetivo principal de esta prueba de concepto fue probar y validar las tecnologías propuestas, demostrando su viabilidad y potencial para optimizar los procesos de gestión de datos e informes de BQA.
En esta publicación, exploramos cómo BQA utilizó el poder de Roca Amazónica, Inicio rápido de Amazon SageMakery otros servicios de AWS para optimizar el flujo de trabajo general de informes.
El desafío: racionalizar los informes de autoevaluación
BQA tradicionalmente ha proporcionado a las instituciones de educación y formación una plantilla para el SER como parte del proceso de revisión. Las instituciones deben presentar un portafolio de revisión que contenga el SER completo y material de respaldo como evidencia, que en ocasiones no cumplió plenamente con los estándares de presentación de informes establecidos.
El proceso existente tenía algunos desafíos:
- Envíos inexactos o incompletos – Las instituciones pueden proporcionar información incompleta o inexacta en los informes presentados y en las pruebas de respaldo, lo que genera lagunas en los datos necesarios para una revisión exhaustiva.
- Pruebas de respaldo faltantes o insuficientes – El material de respaldo proporcionado como evidencia por las instituciones con frecuencia no fundamentaba las afirmaciones hechas en sus informes, lo que cuestionaba el proceso de evaluación.
- Requiere mucho tiempo y recursos – El proceso requirió dedicar mucho tiempo y recursos para revisar las presentaciones manualmente y hacer un seguimiento con las instituciones para solicitar información adicional si era necesario para rectificar las presentaciones, lo que ralentizó el proceso de revisión general.
Estos desafíos resaltaron la necesidad de un enfoque más ágil y eficiente para el proceso de presentación y revisión.
Descripción general de la solución
La solución propuesta utiliza Amazon Bedrock y el modelo Amazon Titan Express para habilitar funcionalidades IDP. La arquitectura integra a la perfección múltiples servicios de AWS con Amazon Bedrock, lo que permite una extracción y comparación de datos eficientes.
Amazon Bedrock es un servicio totalmente administrado que brinda acceso a alto rendimiento modelos de fundacion (FM) de las principales empresas emergentes de IA y Amazon a través de una API unificada. Ofrece una amplia gama de FM, lo que le permite elegir el modelo que mejor se adapte a su caso de uso específico.
El siguiente diagrama ilustra la arquitectura de la solución.
La solución consta de los siguientes pasos:
- Los documentos relevantes se cargan y almacenan en un Servicio de almacenamiento simple de Amazon (Amazon S3) cubo.
- Se envía una notificación de evento a un Servicio de cola simple de Amazon (Amazon SQS) para alinear cada archivo para su posterior procesamiento. Amazon SQS actúa como un búfer, lo que permite que los diferentes componentes envíen y reciban mensajes de manera confiable sin estar acoplados directamente, lo que mejora la escalabilidad y la tolerancia a fallas del sistema.
- La extracción de texto AWS Lambda La función es invocada por la cola SQS, procesando cada archivo en cola y usando Extracto de Amazon para extraer texto de los documentos.
- Los datos de texto extraídos se colocan en otra cola SQS para el siguiente paso de procesamiento.
- Esta nueva cola que contiene el texto extraído invoca la función Lambda de resumen de texto. Esta función envía una solicitud a SageMaker JumpStart, donde se implementa un modelo de generación de texto Meta Llama para resumir el contenido según el mensaje proporcionado.
- En paralelo, se invoca la función InvokeSageMaker Lambda para realizar comparaciones y evaluaciones. Compara el texto extraído con los estándares BQA en los que se entrenó el modelo, evaluando el cumplimiento, la calidad y otras métricas relevantes del texto.
- Los datos resumidos y los resultados de la evaluación se almacenan en un AmazonDynamoDB mesa
- A pedido, la función InvokeBedrock Lambda invoca a Amazon Bedrock para generar resúmenes y comentarios de IA generativa. La función construye un mensaje detallado diseñado para guiar al Modelo Amazon Titan Express en la evaluación de la presentación de la universidad.
Ingeniería rápida con Amazon Bedrock
Para aprovechar el poder de Amazon Bedrock y asegurarse de que el resultado generado cumpliera con la estructura y los requisitos de formato deseados, se desarrolló un mensaje cuidadosamente elaborado de acuerdo con las siguientes pautas:
- Presentación de pruebas – Presentar la evidencia presentada por la institución bajo el indicador relevante, proporcionando al modelo el contexto necesario para la evaluación.
- Criterios de evaluación – Describir los criterios específicos con respecto a los cuales se debe evaluar la evidencia.
- Instrucciones de evaluación – Instruya al modelo de la siguiente manera:
- Indique N/A si la evidencia es irrelevante para el indicador.
- Evaluar la autoevaluación de la universidad en función de los criterios
- Asigne una puntuación del 1 al 5 para cada comentario, citando evidencia directamente del contenido.
- Formato de respuesta – Especifique la respuesta en forma de viñetas, centrándose en el análisis y la evidencia relevantes, con un límite de 100 palabras.
Para utilizar esta plantilla de solicitud, puede crear una función Lambda personalizada con su proyecto. La función debe manejar la recuperación de los datos requeridos, como el nombre del indicador, la evidencia presentada por la universidad y los criterios de la rúbrica. Dentro de la función, incluya la plantilla de solicitud y complete dinámicamente los marcadores de posición (${indicatorName}, ${JSON.stringify(allContent)}
y ${JSON.stringify(c.comment)})
con los datos recuperados.
Luego, el modelo de Amazon Titan Text Express generará la respuesta de evaluación según las instrucciones proporcionadas, adhiriéndose al formato y las pautas especificadas. Puede procesar y analizar la respuesta del modelo dentro de su función, extrayendo la puntuación de cumplimiento, análisis relevantes y evidencia.
La siguiente es una plantilla de mensaje de ejemplo:
La siguiente captura de pantalla muestra un ejemplo de la respuesta generada por Amazon Bedrock.
Resultados
La implementación de Amazon Bedrock permitió a las instituciones obtener beneficios transformadores. Al automatizar y optimizar la recopilación y el análisis de documentación extensa, incluidos los SER, la evidencia de respaldo y diversos formatos de medios, las instituciones pueden lograr una mayor precisión y coherencia en sus procesos de presentación de informes y preparación para el proceso de revisión. Esto no sólo reduce el tiempo y el costo asociados con el procesamiento manual de datos, sino que también mejora el cumplimiento de las expectativas de calidad, mejorando así la credibilidad y la calidad de sus instituciones.
Para BQA, la implementación ayudó a lograr uno de sus objetivos estratégicos centrado en optimizar sus procesos de presentación de informes y lograr mejoras significativas en una variedad de métricas críticas, mejorando sustancialmente la eficiencia y eficacia general de sus operaciones.
Las métricas clave de éxito previstas incluyen:
- Tiempos de respuesta más rápidos para generar informes de autoevaluación con un 70% de precisión y que cumplan con los estándares, lo que lleva a una mayor eficiencia general.
- Reducción del riesgo de errores o incumplimientos en el proceso de reporte, haciendo cumplir los lineamientos establecidos.
- Capacidad para resumir envíos extensos en viñetas concisas, lo que permite a los revisores de BQA analizar y comprender rápidamente la información más pertinente, lo que reduce el tiempo de análisis de evidencia en un 30 %.
- Funcionalidad de retroalimentación de cumplimiento más precisa, que permite a los revisores evaluar de manera efectiva los envíos según los estándares y pautas establecidos, al tiempo que logra una reducción del 30 % en los costos operativos a través de optimizaciones de procesos.
- Transparencia y comunicación mejoradas a través de interacciones fluidas, lo que permite a los usuarios solicitar documentos adicionales o aclaraciones con facilidad.
- Comentarios en tiempo real, lo que permite a las instituciones realizar los ajustes necesarios con prontitud. Esto es particularmente útil para mantener la precisión y la integridad del envío.
- Toma de decisiones mejorada al proporcionar información sobre los datos. Esto ayuda a las universidades a identificar áreas de mejora y tomar decisiones basadas en datos para mejorar sus procesos y operaciones.
La siguiente captura de pantalla muestra un ejemplo de generación de nuevas evaluaciones con Amazon Bedrock.
Conclusión
Esta publicación describió la implementación de Amazon Bedrock en la Autoridad de Calidad de Educación y Capacitación (BQA), lo que demuestra el potencial transformador de la IA generativa para revolucionar los procesos de garantía de calidad en los sectores de educación y capacitación. Para aquellos interesados en explorar más los detalles técnicos, el código completo para esta implementación está disponible en el siguiente repositorio de GitHub. Si está interesado en realizar una prueba de concepto similar con nosotros, envíe su idea de desafío al Politécnico de Bahréin o Universidad de Bahréin Sitio web del CIC.
Sobre el autor
Maram Al Saegh es arquitecta de infraestructura de nube en Amazon Web Services (AWS), donde ayuda a los clientes de AWS a acelerar su viaje a la nube. Actualmente, se centra en el desarrollo de soluciones innovadoras que aprovechen la IA generativa y el aprendizaje automático (ML) para entidades del sector público.