Las operaciones de Amazon abarcan el mundo, tocando la vida de millones de clientes, empleados y proveedores todos los días. Desde la vasta red de logística hasta la infraestructura tecnológica de vanguardia, esta escala es un testimonio de la capacidad de la compañía para innovar y atender a sus clientes. Con esta escala viene la responsabilidad de gestionar los riesgos y abordar las reclamaciones, ya sea que involucren la compensación de los trabajadores, los incidentes de transporte u otros asuntos relacionados con el seguro. Los gerentes de riesgos supervisan las reclamaciones contra Amazon a lo largo de su ciclo de vida. Los documentos de reclamos de varias fuentes crecen a medida que los reclamos maduran, con un solo reclamo que consta de 75 documentos en promedio. Se requiere que los gerentes de riesgos sigan estrictamente el procedimiento operativo estándar relevante (SOP) y revisen la evolución de docenas de aspectos de reclamos para evaluar la gravedad y tomar las medidas adecuadas, revisando y abordando cada reclamo de manera justa y eficiente. Pero a medida que Amazon continúa creciendo, ¿cómo están los gerentes de riesgos facultados para mantenerse al día con el creciente número de reclamos?
En diciembre de 2024, un equipo de tecnología interna de Amazon construyó e implementó una solución con IA aplicada a datos relacionados con reclamos contra la compañía. Esta solución genera resúmenes estructurados de reclamos de menos de 500 palabras en varias categorías, mejorando la eficiencia al tiempo que mantiene la precisión del proceso de revisión de reclamos. Sin embargo, el equipo enfrentó desafíos con altos costos de inferencia y tiempos de procesamiento (3 a 5 minutos por reclamo), particularmente porque se agregan nuevos documentos. Debido a que el equipo planea expandir esta tecnología a otras líneas de negocios, exploraron Modelos de la Fundación Amazon Nova como alternativas potenciales para abordar las preocupaciones de costo y latencia.
Los siguientes gráficos muestran rendimiento en comparación con la latencia y el rendimiento en comparación con el costo de varios modelos de base en el conjunto de datos de reclamos.
La evaluación del caso de uso de resumen de reclamos demostró que los modelos de la Fundación Amazon Nova (FMS) son una alternativa sólida a otros modelos de lenguaje grande (LLMS) fronterizos, lo que alcanza un rendimiento comparable con un costo significativamente menor y una velocidad general más alta. El modelo Amazon Nova Lite demuestra fuertes capacidades de resumen en el contexto de documentos largos, diversos y desordenados.
Descripción general de la solución
La tubería de resumen comienza procesando datos de reclamos sin procesar utilizando AWS Glue trabajos. Almacena datos en intermedio Amazon Simple Storage Service (Amazon S3) cubos y usos Amazon Simple Queue Service (Amazon SQS) Para gestionar los trabajos de resumen. Los resúmenes de reclamos se generan por AWS Lambda Uso de modelos de base alojados en Amazon Bedrock. Primero filtramos los datos de reclamo irrelevantes utilizando un modelo de clasificación basado en LLM basado en Nova Lite y resumimos solo los datos de reclamo relevantes para reducir la ventana de contexto. Teniendo en cuenta la relevancia y el resumen requiere diferentes niveles de inteligencia, seleccionamos los modelos apropiados para optimizar el costo mientras mantenemos el rendimiento. Debido a que las reclamaciones se resumen a la llegada de nueva información, también almacenamos en caché los resultados intermedios y los resúmenes utilizando Amazon Dynamodb Para reducir la inferencia duplicada y reducir el costo. La siguiente imagen muestra una arquitectura de alto nivel de la solución de caso de uso de resumen de reclamos.
Aunque el equipo de Amazon Nova ha publicado puntos de referencia de rendimiento En varias categorías diferentes, la resumen de reclamos es un caso de uso único dada su diversidad de entradas y ventanas de contexto largas. Esto llevó al equipo de tecnología que posee la solución de reclamos para investigar más a fondo con su propio estudio de evaluación comparativa. Para evaluar el rendimiento, la velocidad y el costo de los modelos de Amazon Nova para su caso de uso específico, el equipo seleccionó un conjunto de datos de referencia que consta de 95 pares de documentos de reclamos y resúmenes de aspecto verificado. Los documentos de reclamo varían de 1,000 a 60,000 palabras, y la mayoría son alrededor de 13,000 palabras (mediana 10,100). Los resúmenes verificados de estos documentos suelen ser breves, que contienen menos de 100 palabras. Las entradas a los modelos incluyen diversos tipos de documentos y resúmenes que cubren una variedad de aspectos en la producción.
Según las pruebas de referencia, el equipo observó que Amazon Nova Lite es el doble de rápido y cuesta un 98% menos que su modelo actual. Amazon Nova Micro es aún más eficiente, se ejecuta cuatro veces más rápido y cuesta un 99% menos. La sustancial mejoras de rentabilidad y latencia ofrece más flexibilidad para diseñar un modelo sofisticado y ampliar el cómputo de prueba para mejorar la calidad de suma. Además, el equipo también observó que la brecha de latencia entre los modelos Amazon Nova y el siguiente mejor modelo se amplió para ventanas de contexto largas y una producción larga, lo que hace que Amazon Nova sea una alternativa más fuerte en el caso de documentos largos mientras optimiza para la latencia. Además, el equipo realizó este estudio de evaluación comparativa utilizando el mismo aviso que la solución de producción actual con una portabilidad rápida sin problemas. A pesar de esto, Amazon Nova Models siguió con éxito las instrucciones y generó el formato deseado para el procesamiento posterior. Según los resultados de la evaluación comparativa y la evaluación, el equipo usó Amazon Nova Lite para casos de uso de clasificación y resumen.
Conclusión
En esta publicación, compartimos cómo un equipo de tecnología interna en Amazon evaluó los modelos Amazon Nova, lo que resultó en mejoras notables en la velocidad de inferencia y la rentabilidad. Mirando hacia atrás en la iniciativa, el equipo identificó varios factores críticos que ofrecen ventajas clave:
- Acceso a una cartera de modelos diversos – La disponibilidad de una amplia gama de modelos, incluidas opciones compactas pero potentes como Amazon Nova Micro y Amazon Nova Lite, permitió al equipo experimentar e integrar rápidamente los modelos más adecuados para sus necesidades.
- Escalabilidad y flexibilidad – Las mejoras de costo y latencia de los modelos de Amazon Nova permiten una mayor flexibilidad en el diseño de modelos sofisticados y la ampliación de la prueba para mejorar la calidad de suma. Esta escalabilidad es particularmente valiosa para las organizaciones que manejan grandes volúmenes de datos o flujos de trabajo complejos.
- Facilidad de integración y migración -La capacidad de los modelos para seguir instrucciones y generar salidas en el formato deseado simplifica el procesamiento posterior e integración en los sistemas existentes.
Si su organización tiene un caso de uso similar de un gran procesamiento de documentos que es costoso y requiere mucho tiempo, el ejercicio de evaluación anterior muestra que Amazon Nova Lite y Amazon Nova Micro pueden cambiar el juego. Estos modelos se destacan en el manejo de grandes volúmenes de diversos documentos y ventanas de contexto largas, perfectas para entornos de procesamiento de datos complejos. Lo que hace que esto sea particularmente convincente es la capacidad de los modelos para mantener un alto rendimiento al tiempo que reduce significativamente los costos operativos. Es importante iterar sobre nuevos modelos para los tres pilares: calidad, costo y velocidad. Compare estos modelos con su propio caso de uso y conjuntos de datos.
Puedes comenzar con Amazon Nova en el Consola de roca en Amazon. Obtenga más información en el Página de productos de Amazon Nova.
Sobre los autores
Aitzaz Ahmad es un gerente de ciencia aplicada en Amazon, donde dirige un equipo de científicos que construyen diversas aplicaciones de aprendizaje automático y IA generativa en finanzas. Sus intereses de investigación están en el procesamiento del lenguaje natural (PNL), los agentes generativos de IA y LLM. Recibió su doctorado en ingeniería eléctrica de la Universidad de Texas A&M.
Stephen Lau es gerente senior de desarrollo de software en Amazon, lidera equipos de científicos e ingenieros. Su equipo desarrolla poderosas aplicaciones de detección y prevención de fraude, ahorrando a Amazon mil millones anualmente. También crean aplicaciones de tesorería que optimizan la liquidez global de Amazon al tiempo que gestionan los riesgos, afectando significativamente la seguridad financiera y la eficiencia de Amazon.
Yong Xie es un científico aplicado en Amazon FinTech. Se enfoca en desarrollar modelos de idiomas grandes y aplicaciones generativas de IA para finanzas.
Kristen Henkels es una gerente de productos Sr. – Técnico en Amazon FinTech, donde se enfoca en ayudar a los equipos internos a mejorar su productividad al aprovechar las soluciones de ML y AI. Tiene un MBA de la escuela de negocios de Columbia y le apasiona empoderar a los equipos con la tecnología adecuada para permitir un trabajo estratégico de alto valor.
Shivansh Singh es un arquitecto principal de soluciones en Amazon. Le apasiona impulsar los resultados comerciales a través de soluciones innovadoras, rentables y resistentes, con un enfoque en el aprendizaje automático, la IA generativa y las tecnologías sin servidor. Es un líder técnico y asesor estratégico de juegos a gran escala, medios y clientes de entretenimiento. Tiene más de 16 años de experiencia transformando las empresas a través de innovaciones tecnológicas y la construcción de soluciones empresariales a gran escala.
Dushan Tharmal es un gerente principal de productos, técnico en el equipo de inteligencia general artificial de las Amazonas, responsable de los modelos de la Fundación Amazon Nova. Obtuvo su licenciatura en matemáticas en la Universidad de Waterloo y tiene más de 10 años de experiencia en liderazgo de productos técnicos en servicios financieros y lealtad. En su tiempo libre, disfruta del vino, las caminatas y la filosofía.
Anupam Dewan es un arquitecto de soluciones senior con pasión por la IA generativa y sus aplicaciones en la vida real. Él y su equipo habilitan los constructores de Amazon que construyen aplicaciones orientadas al cliente utilizando AI generativa. Vive en el área de Seattle, y fuera del trabajo, le encanta ir de excursión y disfrutar de la naturaleza.