Hoy, nos complace anunciar que las aplicaciones Amazon SageMaker AI MLflow ahora son compatibles con la versión 3.10 de MLflow, lo que brinda capacidades mejoradas para el desarrollo de IA generativa y un seguimiento de experimentos optimizado para sus flujos de trabajo de IA generativa. Sobre la base de las bases establecidas con las aplicaciones Amazon SageMaker AI MLflow, esta última versión presenta nuevas y potentes funciones para la observabilidad, la evaluación y el desarrollo de IA generativa que ayudan a los científicos de datos y a los ingenieros de ML a acelerar sus iniciativas de IA desde la experimentación hasta la producción.
En esta publicación, exploraremos las novedades de MLflow v3.10, lo guiaremos para comenzar con las aplicaciones SageMaker AI MLflow y cómo aprovechar estas mejoras para crear aplicaciones de IA generativas.
Novedades de MLflow v3.10
MLflow 3.10 introduce un conjunto de mejoras específicas en el ecosistema de MLflow que amplían las capacidades de seguimiento y observabilidad establecidas en MLflow 3.0, con un enfoque particular en el desarrollo de aplicaciones de IA generativa y flujos de trabajo agentes. En el frente de la IA generativa, esta versión ofrece un seguimiento mejorado para flujos de trabajo complejos de múltiples turnos, una integración más estrecha con bibliotecas y marcos LLM populares y un registro optimizado para interacciones e invocaciones de IA generativa. La evaluación recibe una actualización sustancial a través de la API mlflow.genai.evaluación(), que proporciona una interfaz programática para medir y mantener sistemáticamente la calidad de la IA generativa durante todo el ciclo de vida del desarrollo a la producción con métricas integradas que cubren relevancia, fidelidad, corrección y seguridad, todo lo cual se integra perfectamente con los flujos de trabajo de IA de SageMaker.
Las mejoras de observabilidad incluyen búsqueda y filtrado de seguimiento más granular, captura de metadatos más rica para depuración y análisis de causa raíz, y paneles de rendimiento prediseñados que muestran métricas de nivel de carga de trabajo (distribuciones de latencia, recuentos de solicitudes, puntajes de calidad y uso de tokens) de un vistazo sin configuración manual de gráficos, lo que brinda a los equipos que ejecutan cargas de trabajo de producción una visibilidad clara de los costos operativos, mientras que los espacios de trabajo de MLflow brindan una forma estructurada de organizar artefactos de MLflow entre equipos y proyectos, como se muestra a continuación.
Estas mejoras, junto con SageMaker AI, proporcionan una infraestructura de IA generativa de nivel empresarial, lo que facilita el seguimiento de experimentos, el seguimiento del rendimiento de la IA generativa y el mantenimiento de la gobernanza de las aplicaciones de IA a escala.
Primeros pasos con la aplicación SageMaker AI MLflow v3.10
Para los nuevos usuarios, crear una aplicación SageMaker AI MLflow es sencillo a través de la consola de SageMaker Studio, AWS CLI o API. La configuración predeterminada aprovisiona automáticamente MLflow 3.10, brindándole acceso inmediato a todas las capacidades más recientes.
Puede comenzar con MLflow 3.10 totalmente administrado en aplicaciones Amazon SageMaker AI MLflow a través de la consola de administración de AWS, la interfaz de línea de comandos de AWS (AWS CLI) o la API.
Requisitos previos
Para comenzar, necesita:
A continuación, navegue hasta la consola de Amazon SageMaker AI Studio y seleccione la aplicación MLflow.
Elija Crear aplicación MLflow e ingrese un nombre. Aquí, tenemos un rol de AWS Identity and Access Management (IAM) y un depósito de Amazon Simple Service (Amazon S3) ya configurados para usted utilizando los valores predeterminados del dominio SageMaker AI Studio. Y sólo necesita modificarlos en la configuración avanzada si es necesario, como se muestra a continuación.
Una vez creado, recibirá un nombre de recurso de Amazon (ARN) de MLflow para conectarse y podrá comenzar a usar inmediatamente la aplicación SageMaker AI MLflow recién creada con MLflow v3.10 junto con su código existente o puede seguir a continuación para conectar su código con las aplicaciones SageMaker AI MLflow.
Para comenzar a realizar un seguimiento de sus experimentos con su aplicación SageMaker AI MLflow recién creada, debe instalar MLflow y el complemento AWS SageMaker MLflow en su entorno. Puede utilizar Jupyter Lab administrado por SageMaker Studio, SageMaker Studio Code Editor, un entorno de desarrollo integrado (IDE) local u otro entorno compatible donde sus cargas de trabajo de IA operen con las aplicaciones SageMaker AI MLFlow.
Para instalar ambos paquetes de Python usando pip:
instalación de pip mlflow==3.10.1 sagemaker-mlflow==0.3.0
Para conectarse y comenzar a registrar sus experimentos, parámetros y modelos de IA directamente en las aplicaciones SageMaker AI MLflow, consulte el fragmento de código a continuación para comenzar con su carga de trabajo. Tenga en cuenta que reemplace el nombre de recurso de Amazon (ARN) con el ARN de su aplicación SageMaker AI MLflow a continuación.
Migración
Si tiene una aplicación o un servidor de seguimiento de MLflow alojado en SageMaker o en otro lugar, puede migrar a una nueva aplicación 3.10 siguiendo las instrucciones de la publicación del blog Migrar servidores de seguimiento de MLflow a Amazon SageMaker AI con MLflow sin servidor.
Conclusión
La introducción de MLflow v3.10 en las aplicaciones MLflow de IA de Amazon SageMaker representa un importante paso adelante para hacer que el desarrollo de la IA empresarial sea más eficiente, observable y manejable. Comience con las aplicaciones Amazon SageMaker AI MLflow visitando Amazon SageMaker AI Studio y creando su primera aplicación MLflow.
El nuevo MLflow v3.10 también es compatible con la personalización de modelos sin servidor de IA de Amazon SageMaker y SageMaker Unified Studio, y ofrece flexibilidad adicional en el flujo de trabajo.
Comparta sus comentarios con nosotros a través de AWS re:Post para SageMaker o sus contactos habituales de AWS Support.
Sobre los autores
Sandeep Raveesh
Sandeep Raveesh es arquitecto de soluciones especializado en GenAI GTM en AWS. Trabaja con los clientes a través de su capacitación, inferencia y observabilidad en LLM. Se centra en el desarrollo de productos, ayudando a AWS a construir y resolver desafíos de la industria en el espacio de la IA generativa. Puede conectarse con Sandeep en LinkedIn para conocer las soluciones de inteligencia artificial generativa.
Dana Benson
Dana Benson es gerente de desarrollo de software y trabaja en la observabilidad de SageMaker AI ML y LLM. Antes de unirse a AWS, Dana desarrolló comportamientos de hogar inteligente para Alexa.
Ruidi Peng
Ruidi Peng es ingeniero de desarrollo de software en AWS. Trabaja en el equipo de MLflow de Amazon SageMaker, centrándose en la observabilidad de AI/ML y LLM. A Ruidi le apasiona crear una infraestructura escalable que ayude a los clientes a monitorear y obtener información sobre sus cargas de trabajo de aprendizaje automático. En su tiempo libre, le gusta hacer caminatas y explorar el aire libre.