Los autores también desean agradecer a Karan Bhandarkar, Sue Cha, Yash Shah y Nieves García por sus contribuciones para hacer posible esta iniciativa.
Si procesa millones de mensajes de correo electrónico diariamente, ajustar los modelos de Amazon Nova puede ayudarlo a automatizar la extracción de datos precisa y al mismo tiempo reducir costos y alucinaciones. Parcel Perform, una plataforma líder de experiencia de entrega de IA para empresas de comercio electrónico en todo el mundo, enfrentó exactamente este desafío al extraer información estructurada de diversos formatos de correo electrónico, desde notificaciones simples hasta documentos HTML complejos con extensos elementos de JavaScript.
Los desafíos comunes incluyen alucinaciones de modelos, confusión entre tipos de datos similares (como números de pedido y números de seguimiento) y costos simbólicos prohibitivamente altos al procesar correo electrónico con formato HTML.
En esta publicación, aprenderá cómo el ajuste de los modelos de Amazon Nova mediante Amazon SageMaker AI aborda estos problemas específicos al enseñar a los modelos a reconocer sus patrones de datos exactos, distinguir entre campos similares y procesar información de manera más eficiente, logrando hasta un 94,77 % de precisión de extracción y reduciendo los costos en un 50 %.
la colaboracion
Parcel Perform trabajó con el Centro de innovación en IA generativa de AWS (GenAIIC), que brinda consultoría comercial y técnica durante todo el recorrido del cliente. Trabajando hacia atrás desde el planteamiento del problema de Parcel Perform, el equipo definió el alcance de un proyecto para optimizar los modelos Nova a través de varias técnicas de personalización y optimización de parámetros.
Esta colaboración permitió la mejora simultánea de múltiples métricas: precisión, latencia y costo. Le Vy, líder del equipo de IA en Parcel Perform, informó que los modelos Nova Micro optimizados lograron una precisión de extracción de hasta el 94,77% en el conjunto de datos de prueba, una mejora de hasta 16,6 puntos porcentuales con respecto a la línea de base. El Nova Micro optimizado redujo la latencia de inferencia en más de un 30 por ciento y redujo los costos a la mitad en comparación con el modelo anterior de Parcel Perform, mientras igualaba o superaba el modelo Nova Lite optimizado a un costo menor. Con estos resultados, Parcel Perform puso en producción la solución para mejorar sus operaciones logísticas de comercio electrónico.
Descripción general de la solución
Puede utilizar el ajuste del modelo personalizado de IA de Amazon SageMaker para adaptar los modelos de Amazon Nova Lite y Amazon Nova Micro para la extracción de entidades especializadas del correo electrónico de comercio electrónico. Esta solución utiliza ajuste fino supervisado (SFT) con ajuste fino eficiente en parámetros (PEFT) a través de adaptación de bajo rango (LoRA). Con PEFT, puede personalizar modelos de manera efectiva con datos de entrenamiento limitados y al mismo tiempo mantener la eficiencia computacional.
También puede utilizar PEFT para implementar el modelo en Amazon Bedrock e invocarlo con inferencia bajo demanda con un precio por token. Amazon Bedrock ofrece opciones de implementación flexibles: con PEFT, puede implementar mediante inferencia bajo demanda, mientras que SFT de rango completo admite la implementación a través de rendimiento aprovisionado en Amazon Bedrock o un punto final de IA de SageMaker.
El ajuste del modelo personalizado utiliza recetas de Amazon Nova, que son archivos de configuración YAML que brindan detalles a Amazon SageMaker AI sobre cómo ejecutar el trabajo de personalización del modelo, incluido el nombre del modelo base, los hiperparámetros de entrenamiento, la configuración de optimización y opciones adicionales. El siguiente diagrama ilustra la arquitectura de la solución.
Así es como funciona el flujo de trabajo:
Prepare datos de entrenamiento en el formato de conversación de Amazon Bedrock con contenido de correo electrónico como entrada y entidades extraídas como salida. Cargue datos de entrenamiento en Amazon Simple Storage Service (Amazon S3). Cree un trabajo de ajuste en SageMaker AI utilizando la configuración de Adaptación de bajo rango (LoRA). Implemente el modelo ajustado utilizando Amazon Bedrock con inferencia bajo demanda. Ejecute inferencia para extraer entidades de un nuevo correo electrónico.
Requisitos previos
Necesitará lo siguiente para ajustar e implementar modelos Nova:
Cuenta de AWS con los permisos adecuados: necesaria para acceder a los servicios de AWS y crear recursos. Acceso a los modelos de Amazon Bedrock y Amazon Nova: debe estar disponible en la región de AWS elegida. Rol de servicio de IAM: un rol de AWS Identity and Access Management (IAM) con permisos para la personalización del modelo de Amazon Bedrock. Depósito S3: para almacenar datos de entrenamiento y artefactos de salida. Datos de entrenamiento en formato JSONL: siga el formato de datos y la guía de preparación. Cuotas de servicio suficientes: establezca una cuota adecuada para el tipo y tamaño de instancia elegido en SageMaker AI Training.
Para obtener instrucciones sobre cómo crear la función de servicio, consulte Crear una función de servicio para la personalización del modelo.
Preparar los datos de entrenamiento.
Sus datos de entrenamiento deben seguir el formato del esquema de conversación de Amazon Bedrock. Cada muestra contiene el contenido del correo electrónico como entrada del usuario y las entidades extraídas como respuesta del asistente.
Aquí hay un ejemplo simplificado del formato requerido:
En nuestro experimento, preparamos dos conjuntos de datos de entrenamiento: un conjunto más pequeño con 1300 muestras y un conjunto más grande con 4900 muestras. Esto nos permitió evaluar cómo el tamaño de los datos de entrenamiento afecta el rendimiento del modelo.
Puede utilizar Amazon SageMaker Studio como entorno de desarrollo para ejecutar Jupyter Notebook en el paso de preparación de datos.
Cargar datos de entrenamiento a un depósito S3
SageMaker AI Training ejecuta trabajos en entornos separados de su entorno de desarrollo de código y datos. Con SageMaker AI Training, puede utilizar de manera eficiente una o varias instancias potentes impulsadas por GPU que se detienen automáticamente cuando finaliza el entrenamiento. Debido a que las instancias están separadas de su entorno de preparación de datos, deberá cargar los datos en una ubicación centralizada: Amazon S3.
El siguiente código ilustra la carga de datos desde SageMaker Studio a un depósito de S3:
Ajustar el modelo de Amazon Nova
Con sus datos de entrenamiento preparados, puede crear un trabajo de ajuste utilizando la API de IA de Amazon SageMaker a través del SDK de SageMaker. Siga los ejemplos del Centro de personalización de Amazon Nova. Esto aprovisiona un trabajo de capacitación con Amazon SageMaker AI Training que se ejecuta en un contenedor en una o varias instancias separadas con el tipo y tamaño que usted elija.
La siguiente tabla resume los parámetros clave de ajuste en nuestro experimento:
Parámetros Descripción model_type “amazon.nova-lite-v1:0:300k” o “amazon.nova-micro-v1:0:128k” model_name_or_path Réplicas “nova-lite/prod” o “nova-micro/prod” 1 para g5/g6 4 para p5 max_length 8192 para g5/g6 32768 para p5 global_batch_size 64 max_epochs 2 peft_scheme lora loraplus_lr_ratio 8.0 alfa 32
Seleccionamos Nova Lite y Nova Micro por su menor costo y rendimiento competitivo en comparación con Amazon Nova Pro y otros modelos.
Implementar y ejecutar inferencia
Cuando su trabajo de ajuste se complete exitosamente, podrá crear un modelo personalizado en Amazon Bedrock para importar el modelo Nova ajustado con PEFT entrenado por Amazon SageMaker AI. Siga Crear un modelo personalizado para conocer los pasos detallados. Luego puede ejecutar la inferencia utilizando el modelo personalizado como se muestra en el siguiente ejemplo:
La función devuelve campos extraídos similares a los siguientes:
También tiene la opción de entrenar iterativamente el modelo con un método diferente. Por ejemplo, puede utilizar el punto de control del ajuste SFT-PEFT como base para el entrenamiento de optimización de preferencias directas (DPO) posterior. Consulte la documentación sobre entrenamiento iterativo.
Resultados de la evaluación
Los modelos ajustados mejoraron la precisión entre 5,6 y 16,6 puntos porcentuales con respecto a las líneas de base, y Nova Micro logró la precisión general más alta del 94,77 por ciento a pesar de ser el modelo más pequeño. El ajuste también redujo la latencia de inferencia en aproximadamente un 32 por ciento y redujo los costos en aproximadamente un 50 por ciento a través del ajuste PEFT en modelos más livianos en comparación con los modelos existentes con precios de pago por uso. Estas ganancias combinadas en precisión, velocidad y costo permitieron a Parcel Perform implementar el modelo optimizado de Amazon Nova en producción.
Comparación de precisión
Parcel Perform evaluó los modelos ajustados frente a los modelos de referencia utilizando la métrica de precisión ponderada de Parcel Perform, que combina la precisión de la extracción en todos los campos de datos. Probamos en dos conjuntos de datos representativos con 100 muestras y 200 muestras, respectivamente.
Hallazgos clave:
El ajuste fino generó mejoras en la precisión en todos los modelos, con mejoras que oscilaron entre 5,6 y 16,6 puntos porcentuales con respecto a sus contrapartes de referencia. Nova Micro mostró el mayor salto, pasando del 76,63 por ciento al 93,27 por ciento después del ajuste. Escalar los datos de entrenamiento de 1.300 a 4.900 muestras aumentó aún más el rendimiento hasta en un 3,3 por ciento, lo que demuestra que aumentos modestos en el volumen de entrenamiento continúan generando retornos significativos. A pesar de ser el modelo más pequeño, Nova Micro logró la precisión general más alta del 94,77 por ciento en el conjunto de prueba de 200 muestras. Un modelo compacto bien ajustado puede superar a alternativas más grandes en tareas de dominios específicos.
Mejoras de latencia
El ajuste fino también redujo significativamente la latencia de inferencia: 31 por ciento para Nova Lite y 32 por ciento para Nova Micro debido al tamaño más pequeño del modelo de Nova Micro y menos parámetros en comparación con el modelo anterior de Parcel Perform. Esto representa aproximadamente 7,7 segundos por inferencia, lo que agiliza el procesamiento de grandes volúmenes de correo electrónico diariamente.
Impacto
El tiempo de procesamiento disminuyó significativamente en comparación con el modelo anterior de Parcel Perform. Los costos se redujeron en aproximadamente un 50 por ciento porque PEFT permite que los modelos más livianos funcionen mejor en tareas específicas y al mismo tiempo respaldan la implementación con precios de pago por uso. La precisión mejorada, combinada con costos y latencia reducidos, permite a Parcel Perform utilizar el modelo optimizado de Amazon Nova en producción.
Conclusión
En esta publicación, demostramos cómo puede ajustar los modelos de Amazon Nova utilizando Amazon SageMaker AI para una extracción precisa de entidades del correo electrónico de comercio electrónico. Nuestra colaboración con Parcel Perform demostró que el ajuste fino eficiente de los parámetros utilizando LoRA puede lograr mejoras significativas en la precisión y al mismo tiempo reducir la latencia de inferencia en más del 30 por ciento.
Conclusiones clave de este compromiso:
El ajuste fino resultó eficaz para reducir las alucinaciones. Los modelos distinguieron correctamente entre números de pedido y números de seguimiento sin fabricar datos que no existen en el material original. No necesita conjuntos de datos masivos para ver resultados reales: se lograron mejoras significativas en la precisión con tan solo 1300 muestras de entrenamiento en 25 entidades, lo que hace que el ajuste sea una opción práctica incluso para equipos con datos etiquetados limitados. En un hallazgo contrario a la intuición, el modelo Nova Micro más pequeño superó al Nova Lite más grande después del ajuste fino, lo que demuestra que la optimización de tareas específicas puede compensar con creces las diferencias en el tamaño del modelo base. Esto tiene implicaciones de costos: combinar un modelo más pequeño y más rápido como Nova Micro con una latencia de inferencia reducida crea una solución rentable para procesar grandes volúmenes de correo electrónico a escala. La capacidad de implementar modelos ajustados a PEFT directamente en Amazon Bedrock con precios bajo demanda basados en tokens significa que puede ejecutar un modelo totalmente personalizado mediante pago por uso, lo que elimina la necesidad de aprovisionar y mantener una infraestructura de alojamiento LLM dedicada.
empezar
Para implementar esta solución, comience preparando sus datos de entrenamiento en el formato anterior. Comience con un conjunto de datos de al menos 1300 muestras, como se muestra en esta publicación, para obtener resultados significativos. Para obtener resultados óptimos, asegúrese de que sus datos de capacitación representen la variedad de formatos de correo electrónico que encontrará en producción.
Si enfrenta desafíos similares de extracción de entidades, puede utilizar la personalización del modelo de IA de SageMaker para crear soluciones precisas y listas para producción. Este enfoque muestra cómo se pueden adaptar modelos rápidos y rentables como Nova Micro y Nova Lite para casos de uso de producción que ofrezcan precisión, velocidad y rentabilidad.
¿Listo para probarlo tú mismo? Explora estos recursos:
AWS GenAIIC es un programa lanzado por AWS en 2023 para ayudar a las organizaciones a convertir el potencial de la IA generativa en valor comercial. El centro reúne a expertos en ciencia y estrategia de AWS que trabajan con clientes a lo largo del recorrido de la IA generativa, ayudando a priorizar casos de uso, crear hojas de ruta estratégicas y llevar las soluciones de IA del concepto a la producción. Desde su creación, el centro de innovación ha colaborado con más de 1.000 clientes de todos los sectores, incluidos la Fórmula 1, Nasdaq, Ryanair y S&P Global, y más del 65 por ciento de los proyectos de los últimos años han alcanzado el despliegue de producción. Desde entonces, AWS ha duplicado su inversión en el programa para ampliar el soporte disponible para los clientes que crean soluciones de IA generativa.
Sobre los autores
Vy Le
Vy Le es líder del equipo de IA en Parcel Perform, donde impulsa el desarrollo de aplicaciones de IA y explora las investigaciones emergentes sobre IA. Comenzó su carrera en análisis de datos y profundizó su enfoque en IA a través de una Maestría en Inteligencia Artificial. Apasionada por aplicar datos e inteligencia artificial para resolver problemas comerciales reales, también dedica tiempo a asesorar a aspirantes a tecnólogos y construir una comunidad de apoyo para los jóvenes en tecnología. A través de su trabajo, Vy desafía activamente las normas de género en la industria y defiende el aprendizaje permanente como clave para la innovación.
Xiaogang Wang
El Dr. Xiaogang Wang es científico aplicado senior en el Centro de innovación de IA generativa de AWS, donde ayuda a los clientes a diseñar e implementar soluciones de IA/ML utilizando los servicios de AWS. Su trabajo abarca industrias que incluyen inteligencia artificial física, tecnología financiera y atención médica, lo que permite a las organizaciones aprovechar modelos generativos, capacitación y ajuste de modelos a gran escala y procesamiento inteligente de documentos para acelerar la innovación e impulsar los resultados comerciales. Tiene un doctorado de la Universidad Nacional de Singapur y ha publicado numerosos artículos en conferencias y revistas de primer nivel, incluidas CVPR, ICCV, IROS, T-PAMI, etc. También se desempeña como revisor de conferencias líderes como CVPR, ICCV, ECCV, ICML, NeurIPS, etc.
Bill Cai
Bill Cai es científico aplicado sénior en el Centro de innovación en IA generativa de AWS, con sede en Singapur. Se asocia con clientes empresariales para diseñar e implementar soluciones de IA generativa, centrándose en el entrenamiento de modelos y la optimización de la inferencia, incluso en hardware diverso. Tiene una maestría en Ciencias e Ingeniería Computacional del MIT y su investigación ha aparecido en lugares como NeurIPS, CVPR y NAACL.
Yudho Ahmad Diponegoro
Yudho Ahmad Diponegoro es arquitecto senior de soluciones en AWS. Habiendo sido parte de Amazon durante más de 11 años, ha desempeñado diversos roles, desde desarrollo de software hasta arquitectura de soluciones. Ayuda a nuevas empresas en Singapur cuando se trata de arquitectura en la nube. Si bien mantiene su amplio conocimiento en tecnologías e industrias, se enfoca en IA y aprendizaje automático, donde ha estado guiando a varias empresas emergentes en la ASEAN para adoptar el aprendizaje automático y la IA agente en AWS.