Esta publicación está coescrita con Curtis Maher y Anjali Thatte de Datadog.
Esta publicación lo guía a través de la nueva integración de Datadog con Neurona AWSque le ayuda a controlar su Capacitación en AWS y AWS Inferencia instancias al proporcionar una observabilidad profunda de la utilización de recursos, el rendimiento de la ejecución del modelo, la latencia y el estado de la infraestructura en tiempo real, lo que le permite optimizar las cargas de trabajo de aprendizaje automático (ML) y lograr un alto rendimiento a escala.
Neuron es el SDK que se utiliza para ejecutar cargas de trabajo de aprendizaje profundo en instancias basadas en Trainium e Inferentia. Los chips de IA de AWS, Trainium e Inferentia, le permiten crear e implementar modelos de IA generativos con mayor rendimiento y menor costo. Con el uso cada vez mayor de modelos grandes, que requieren una gran cantidad de instancias informáticas aceleradas, la observabilidad desempeña un papel fundamental en las operaciones de aprendizaje automático, lo que le permite mejorar el rendimiento, diagnosticar y corregir fallas y optimizar la utilización de recursos.
Datadog, una plataforma de observabilidad y seguridad, proporciona monitoreo en tiempo real para la infraestructura de la nube y las operaciones de aprendizaje automático. Datadog se complace en lanzar su Integración neuronalque extrae métricas recopiladas por Neuron SDK Monitor de neuronas herramienta en Datadog, que le permite realizar un seguimiento del rendimiento de sus instancias basadas en Trainium e Inferentia. Al brindar visibilidad en tiempo real del rendimiento del modelo y el uso del hardware, Datadog lo ayuda a lograr una capacitación e inferencia eficientes, una utilización optimizada de los recursos y la prevención de ralentizaciones del servicio.
Monitorización integral de Trainium e Inferentia
La integración de Datadog con Neuron SDK recopila automáticamente métricas y registros de instancias de Trainium e Inferentia y los envía a la plataforma Datadog. Al permitiendo la integraciónlos usuarios encontrarán un panel de control listo para usar en Datadog, lo que facilitará comenzar a monitorear rápidamente. También puede modificar paneles y monitores preexistentes y agregar nuevos adaptados a sus requisitos de monitoreo específicos.
El panel de Datadog ofrece una vista detallada del rendimiento de su chip AWS AI (Trainium o Inferentia), como la cantidad de instancias, la disponibilidad y la región de AWS. Las métricas en tiempo real brindan una instantánea inmediata del estado de la infraestructura, con monitores preconfigurados que alertan a los equipos sobre problemas críticos como latencia, utilización de recursos y errores de ejecución. La siguiente captura de pantalla muestra un panel de ejemplo.
Por ejemplo, cuando la latencia aumenta en una instancia específica, un monitor en la sección de resumen del monitor del panel se pondrá rojo y activará alertas a través de Datadog u otros mecanismos de paginación (como Slack o correo electrónico). Una latencia alta puede indicar una alta demanda de los usuarios o canales de datos ineficientes, lo que puede ralentizar los tiempos de respuesta. Al identificar estas señales tempranamente, los equipos pueden responder rápidamente en tiempo real para mantener experiencias de usuario de alta calidad.
La integración de Neuron de Datadog permite el seguimiento de aspectos clave de rendimiento, proporcionando información crucial para la resolución de problemas y la optimización:
- Contadores de NeuronCore: monitorear la utilización de NeuronCore ayuda a garantizar que los núcleos se utilicen de manera eficiente, lo que le ayuda a identificar si necesita realizar ajustes para equilibrar las cargas de trabajo u optimizar el rendimiento.
- Estado de ejecución: puede monitorear el progreso de los trabajos de capacitación, incluidas las tareas completadas y las ejecuciones fallidas. Estos datos garantizan que los modelos se entrenen sin problemas y de manera confiable. Si las fallas aumentan, puede indicar problemas con la calidad de los datos, las configuraciones del modelo o las limitaciones de recursos que deben abordarse.
- Memoria utilizada: puede obtener una vista granular del uso de la memoria tanto en el host como en el dispositivo Neuron, incluida la memoria asignada para tensores y ejecución de modelos. Esto le ayuda a comprender la eficacia con la que se utilizan los recursos y cuándo podría ser el momento de reequilibrar las cargas de trabajo o escalar los recursos para evitar que los cuellos de botella causen interrupciones durante la capacitación.
- Uso de vCPU en tiempo de ejecución de Neuron: puede controlar el uso de vCPU para asegurarse de que sus modelos no sobrecarguen la infraestructura. Cuando el uso de vCPU supere un determinado umbral, se le avisará para que decida si redistribuye las cargas de trabajo o actualiza los tipos de instancias para evitar ralentizaciones en el entrenamiento.
Al consolidar estas métricas en una sola vista, Datadog proporciona una poderosa herramienta para mantener cargas de trabajo de Neuron eficientes y de alto rendimiento, ayudando a los equipos a identificar problemas en tiempo real y optimizar la infraestructura según sea necesario. Usando la integración de Neuron combinada con Datadog Observabilidad del LLM capacidades, puede obtener una visibilidad completa de sus aplicaciones de modelo de lenguaje grande (LLM).
Comience con Datadog, Inferentia y Trainium
La integración de Datadog con Neuron proporciona visibilidad en tiempo real de Trainium e Inferentia, lo que le ayuda a optimizar la utilización de recursos, solucionar problemas y lograr un rendimiento perfecto a escala. Para empezar, consulte Monitoreo de AWS Inferentia y AWS Trainium.
Para obtener más información sobre cómo Datadog se integra con los servicios de Amazon ML y Datadog Observabilidad del LLMver Supervise Amazon Bedrock con Datadog y Monitoreo de Amazon SageMaker con Datadog.
Si aún no tiene una cuenta de Datadog, puede registrarse para obtener una prueba gratuita de 14 días hoy.
Acerca de los autores
Curtis Maher es gerente de marketing de productos en Datadog, enfocado en la nube de la plataforma y las integraciones AI/ML. Curtis trabaja en estrecha colaboración con los equipos de productos, marketing y ventas de Datadog para coordinar los lanzamientos de productos y ayudar a los clientes a observar y proteger su infraestructura en la nube.
Anjali Thatte es gerente de producto en Datadog. Actualmente se centra en la creación de tecnología para monitorear la infraestructura de IA y las herramientas de aprendizaje automático y en ayudar a los clientes a obtener visibilidad en sus pilas de tecnología de aplicaciones de IA.
Jason Mimick es un arquitecto de soluciones de socio senior en AWS que trabaja en estrecha colaboración con los equipos de productos, ingeniería, marketing y ventas a diario.
Anuj Sharma es arquitecto principal de soluciones en Amazon Web Services. Se especializa en la modernización de aplicaciones con tecnologías prácticas como serverless, contenedores, IA generativa y observabilidad. Con más de 18 años de experiencia en el desarrollo de aplicaciones, actualmente lidera la construcción conjunta con socios de software de AWS centrados en contenedores y observabilidad.