Esta es una publicación de blog invitada coescrita con Jordan Knight, Sara Reynolds, George Lee de Viajeros.
Los modelos de base (FMS) se utilizan de muchas maneras y funcionan bien en tareas que incluyen generación de texto, resumen de texto y respuesta de preguntas. Cada vez más, los FM están completando tareas que se resolvieron previamente mediante el aprendizaje supervisado, que es un subconjunto de aprendizaje automático (ML) que implica algoritmos de capacitación utilizando un conjunto de datos etiquetado. En algunos casos, los modelos supervisados más pequeños han demostrado la capacidad de funcionar en entornos de producción al tiempo que cumplen con los requisitos de latencia. Sin embargo, hay beneficios en la construcción de un clasificador basado en FM utilizando un servicio API como la base de Amazon, como la velocidad para desarrollar el sistema, la capacidad de cambiar entre modelos, una rápida experimentación para iteraciones de ingeniería rápida y la extensibilidad a otros relacionados. Tareas de clasificación. Una solución dirigida por FM también puede proporcionar una justificación para las salidas, mientras que un clasificador tradicional carece de esta capacidad. Además de estas características, los FM modernos son lo suficientemente potentes como para cumplir con los requisitos de precisión y latencia para reemplazar los modelos de aprendizaje supervisados.
En esta publicación, pasamos por cómo el Centro de Innovación Generativo de IA (Genaiic) colaboró con los principales viajeros de la compañía de seguros de propiedades y víctimas para desarrollar un clasificador basado en FM a través de ingeniería rápida. Los viajeros reciben millones de correos electrónicos al año con las solicitudes de agentes o clientes para las políticas de servicio. El sistema Genaiic y los viajeros construidos utilizan las capacidades predictivas de FMS para clasificar los correos electrónicos de solicitud de servicio complejos y, a veces, ambiguos, en varias categorías. Este clasificador FM alimenta el sistema de automatización que puede ahorrar decenas de miles de horas de procesamiento manual y redirigir ese tiempo hacia tareas más complejas. Con los modelos Claude de Anthrope en Amazon Bedrock, formulamos el problema como una tarea de clasificación, y a través de la ingeniería rápida y la asociación con los expertos de las materias comerciales, logramos una precisión de clasificación del 91%.
Formulación de problemas
La tarea principal fue clasificar los correos electrónicos recibidos por los viajeros en una categoría de solicitud de servicio. Solicitudes involucradas en áreas como cambios de dirección, ajustes de cobertura, actualizaciones de nómina o cambios de exposición. Aunque utilizamos un FM previamente capacitado, el problema se formuló como una tarea de clasificación de texto. Sin embargo, en lugar de utilizar el aprendizaje supervisado, que normalmente implica recursos de capacitación, utilizamos ingeniería rápida con pocos disparos de incitación a predecir la clase de un correo electrónico. Esto nos permitió usar un FM previamente capacitado sin tener que incurrir en los costos de la capacitación. El flujo de trabajo comenzó con un correo electrónico, entonces, dado el texto del correo electrónico y cualquier archivo adjunto de PDF, el modelo recibió una clasificación por parte del modelo.
Cabe señalar que ajustar un FM es otro enfoque que podría haber mejorado el rendimiento del clasificador con un costo adicional. Al curar una lista más larga de ejemplos y salidas esperadas, se puede capacitar un FM para funcionar mejor en una tarea específica. En este caso, dada la precisión ya era alta simplemente usando ingeniería rápida, la precisión después del ajuste tendría que justificar el costo. Aunque en el momento del compromiso, los modelos Claude de Anthrope no estaban disponibles para ajustar en Amazon Bedrock, ahora el ajuste de Fino de Anthrope Haiku está en pruebas beta a través de Amazon Bedrock.
Descripción general de la solución
El siguiente diagrama ilustra la tubería de solución para clasificar un correo electrónico.
El flujo de trabajo consta de los siguientes pasos:
- El correo electrónico en bruto se ingiere en la tubería. El texto del cuerpo se extrae de los archivos de texto de correo electrónico.
- Si el correo electrónico tiene un archivo adjunto PDF, el PDF se analiza.
- El PDF se divide en páginas individuales. Cada página se guarda como una imagen.
- Las imágenes de la página PDF son procesadas por Amazon Textract para extraer texto, entidades específicas y datos de tabla utilizando el reconocimiento de caracteres ópticos (OCR).
- Se analiza el texto del correo electrónico.
- El texto se limpia de etiquetas HTML, si es necesario.
- El texto del cuerpo de correo electrónico y el archivo adjunto PDF se combinan en un solo mensaje para el modelo de idioma grande (LLM).
- Claude de Anthrope clasifica este contenido en una de las 13 categorías definidas y luego devuelve esa clase. Las predicciones para cada correo electrónico se utilizan aún más para el análisis del rendimiento.
Amazon Textract sirvió múltiples propósitos, como extraer el texto sin procesar de los formularios incluidos en AS archivos adjuntos en correos electrónicos. Se incluyó extracción de entidad adicional y detección de datos de tabla para identificar nombres, números de política, fechas y más. La salida de Amazon Textract se combinó con el texto del correo electrónico y se le dio al modelo para decidir la clase apropiada.
Esta solución no tiene servidor, que tiene muchos beneficios para la organización. Con una solución sin servidor, AWS proporciona una solución administrada, facilitando un menor costo de propiedad y una reducción de la complejidad de mantenimiento.
Datos
El conjunto de datos de la verdad de tierra contenía más de 4,000 ejemplos de correo electrónico etiquetados. Los correos electrónicos sin procesar estaban en formato .msg de Outlook y formato .Eml sin procesar. Aproximadamente el 25% de los correos electrónicos tenían archivos adjuntos PDF, de los cuales la mayoría eran formularios de seguro de Acord. Los formularios PDF incluyeron detalles adicionales que proporcionaron una señal para el clasificador. Solo se procesaron los accesorios PDF para limitar el alcance; Otros archivos adjuntos fueron ignorados. Para la mayoría de los ejemplos, el texto del cuerpo contenía la mayoría de la señal predictiva que se alineaba con una de las 13 clases.
Ingeniería rápida
Para construir un aviso fuerte, necesitábamos comprender completamente las diferencias entre las categorías para proporcionar explicaciones suficientes para el FM. Al analizar manualmente los mensajes de texto y la consultoría con expertos en negocios, el aviso incluía una lista de instrucciones explícitas sobre cómo clasificar un correo electrónico. Las instrucciones adicionales mostraron a Claude de Anthrope cómo identificar frases clave que ayudan a distinguir la clase de un correo electrónico de los demás. El aviso también incluyó algunos ejemplos de disparo que demostraron cómo realizar la clasificación y ejemplos de salida que mostraron cómo el FM debe formatear su respuesta. Al proporcionar al FM ejemplos y otras técnicas de incrustación, pudimos reducir significativamente la varianza en la estructura y el contenido de la salida de FM, lo que lleva a resultados explicables, predecibles y repetibles.
La estructura del aviso fue la siguiente:
- Definición de persona
- Instrucción general
- Ejemplos de pocos disparos
- Definiciones detalladas para cada clase
- Entrada de datos de correo electrónico
- Instrucción de salida final
Para obtener más información sobre la ingeniería rápida para el Claude de Anthrope, consulte la ingeniería rápida en la documentación antrópica.
“La capacidad de Claude para comprender la terminología de seguros compleja y el lenguaje matizado de la política lo hace particularmente experto en tareas como la clasificación de correo electrónico. Su capacidad para interpretar el contexto y la intención, incluso en comunicaciones ambiguas, se alinea perfectamente con los desafíos que enfrentan las operaciones de seguro. Estamos emocionados de ver cómo los viajeros y AWS han aprovechado estas capacidades para crear una solución tan eficiente, lo que demuestra el potencial de IA para transformar los procesos de seguro “.
– Jonathan Pelosi, antrópico
Resultados
Para que un clasificador basado en FM se use en la producción, debe mostrar un alto nivel de precisión. Las pruebas iniciales sin ingeniería rápida arrojaron una precisión del 68%. Después de utilizar una variedad de técnicas con Claude V2 de Anthrope, como ingeniería rápida, categorías de condensación, ajuste del proceso de procesamiento de documentos y la mejora de las instrucciones, la precisión aumentó al 91%. Claude Instant en el roca madre de Amazon también funcionó bien, con una precisión del 90%, con áreas adicionales de mejora identificadas.
Conclusión
En esta publicación, discutimos cómo FMS puede automatizar de manera confiable la clasificación de los correos electrónicos del servicio de seguros a través de ingeniería rápida. Al formular el problema como una tarea de clasificación, un FM puede funcionar lo suficientemente bien para los entornos de producción, al tiempo que mantiene la extensibilidad en otras tareas y subiendo y funcionando rápidamente. Todos los experimentos se realizaron utilizando los modelos Claude de Anthrope en Amazon Bedrock.
Sobre los autores
Jordan Caballero es un científico senior de datos que trabaja para viajeros en el Departamento de Análisis e Investigación de Seguros de Negocios. Su pasión es resolver problemas desafiantes de visión por computadora del mundo real y explorar nuevos métodos de última generación para hacerlo. Tiene un interés particular en el impacto social de los modelos ML y cómo podemos continuar mejorando los procesos de modelado para desarrollar soluciones de ML que sean equitativas para todos. En su tiempo libre, puede encontrarlo escalar, caminar o continuar desarrollando sus habilidades de cocina algo rudimentarias.
Sara Reynolds es propietario de un producto en viajeros. Como miembro del equipo de IA Enterprise, tiene esfuerzos avanzados para transformar el procesamiento dentro de las operaciones utilizando IA y tecnologías basadas en la nube. Recientemente obtuvo su MBA y PhD en tecnologías de aprendizaje y se desempeña como profesora adjunta en la Universidad del Norte de Texas.
George Lee es AVP, ciencia de datos y plomo generativo de IA para International en Travelers Insurance. Se especializa en el desarrollo de soluciones empresariales de IA, con experiencia en IA generativa y modelos de idiomas grandes. George ha liderado varias iniciativas de IA exitosas y posee dos patentes en la evaluación de riesgos con IA. Recibió su maestría en informática de la Universidad de Illinois en Urbana-Champaign.
Francisco Calderón es un científico de datos en el Centro de Innovación Generativa de IA (Gaiic). Como miembro del Gaiic, ayuda a descubrir el arte de lo posible con los clientes de AWS utilizando tecnologías generativas de IA. En su tiempo libre, a Francisco le gusta tocar música y guitarra, tocar fútbol con sus hijas y disfrutar del tiempo con su familia.
Isaac privadora es un científico principal de datos del Centro de Innovación AI AI AWS, donde desarrolla soluciones generativas basadas en IA generativas a medida para abordar los problemas comerciales de los clientes. Su enfoque principal radica en la construcción de sistemas de IA responsables, utilizando técnicas como trapo, sistemas de múltiples agentes y ajuste de modelo. Cuando no está inmerso en el mundo de la IA, Isaac se puede encontrar en el campo de golf, disfrutando de un partido de fútbol o senderos con su fiel compañero canino, Barry.