Monitoree la inferencia de lotes de rock de Amazon con Métricos de Amazon CloudWatch

A medida que las organizaciones escalan su uso de IA generativa, muchas cargas de trabajo requieren un procesamiento masivo rentable en lugar de respuestas en tiempo real. Roca madre de Amazon La inferencia por lotes aborda esta necesidad al permitir que los grandes conjuntos de datos se procesen a granel con un rendimiento predecible, a un costo 50% menor que la inferencia a pedido. Esto lo hace ideal para tareas como análisis de datos históricos, resumen de texto a gran escala y cargas de trabajo de procesamiento de antecedentes.

En esta publicación, exploramos cómo monitorear y administrar los trabajos de inferencia de lotes de roca madre de Amazon utilizando Amazon CloudWatch Métricas, alarmas y paneles para optimizar el rendimiento, el costo y la eficiencia operativa.

Nuevas características en la inferencia de lotes de rock racial de Amazon

La inferencia por lotes en Amazon Bedrock está en constante evolución, y las actualizaciones recientes traen mejoras significativas al rendimiento, la flexibilidad y la transparencia de los costos:

• Soporte de modelo ampliado – La inferencia por lotes ahora admite familias modelos adicionales, incluidos Claude Sonnet 4 de Anthrope y OpenAI OSS. Para la lista más actualizada, consulte Regiones y modelos compatibles para la inferencia por lotes.
• Mejoras del rendimiento – Las optimizaciones de inferencia por lotes en los modelos antrópicos más nuevos y los modelos OpenAI GPT OSS ahora ofrecen un mayor rendimiento por lotes en comparación con los modelos anteriores, lo que le ayuda a procesar grandes cargas de trabajo más rápidamente.
• Capacidades de monitoreo de trabajo – Ahora puede rastrear cómo sus trabajos por lotes enviados están progresando directamente en CloudWatch, sin el trabajo pesado de la creación de soluciones de monitoreo personalizadas. Esta capacidad proporciona visibilidad a nivel de cuenta de AWS para el progreso del trabajo, lo que hace que sea sencillo administrar cargas de trabajo a gran escala.

Casos de uso para inferencia por lotes

AWS recomienda usar inferencia por lotes en los siguientes casos de uso:

• Los trabajos son no sensible al tiempo y puede tolerar minutos a horas de retraso
• El procesamiento es periódicocomo resumen diario o semanal de grandes conjuntos de datos (noticias, informes, transcripciones)
• Datos a granel o históricos Debe analizarse, como los archivos de transcripciones de los centros de llamadas, correos electrónicos o registros de chat
• Las bases de conocimiento necesitan enriquecimientoincluida la generación de incrustaciones, resúmenes, etiquetas o traducciones a escala
• El contenido requiere transformación a gran escalacomo clasificación, análisis de sentimientos o conversión de texto no estructurado en salidas estructuradas
• Experimentación o evaluación es necesario, por ejemplo, probar variaciones indicadas o generar conjuntos de datos sintéticos
• El cumplimiento y las verificaciones de riesgos deben ejecutarse en contenido histórico Para la detección o gobierno de datos confidenciales

Lanzar un trabajo de inferencia de lotes de rock de Amazon

Puede comenzar un trabajo de inferencia por lotes en Amazon Bedrock usando el Consola de gestión de AWSAWS SDKS, o Interfaz de línea de comandos de AWS (AWS CLI). Para obtener instrucciones detalladas, ver Crear un trabajo de inferencia por lotes.

Para usar la consola, complete los siguientes pasos:

1. En la consola de rock de Amazon, elija Inferencia por lotes bajo Inferir En el panel de navegación.
2. Elegir Crear trabajo de inferencia por lotes.
3. Para Nombre de trabajoingrese un nombre para su trabajo.
4. Para Modeloelija el modelo para usar.
5. Para Datos de entradaingrese a la ubicación del Servicio de almacenamiento simple de Amazon (Amazon S3) Bucket de entrada (formato JSONL).
6. Para Datos de salidaingrese la ubicación S3 del cubo de salida.
7. Para Acceso al servicioseleccione su método para autorizar el rock de Amazon.
8. Elegir Crear trabajo de inferencia por lotes.

Monitorear la inferencia por lotes con MECUSHWATCH METRICS

Amazon Bedrock ahora publica automáticamente métricas para trabajos de inferencia por lotes en el espacio de nombres AWS/Bedrock/Batch. Puede rastrear el progreso de la carga de trabajo por lotes a nivel de cuenta de AWS con las siguientes métricas de CloudWatch. Para los modelos actuales de roca madre de Amazon, estas métricas incluyen registros de tokens de procesamiento, entrada y salida procesados ​​por minuto, y para modelos antrópicos de Claude, también incluyen tokens pendiente del procesamiento.

Las siguientes métricas pueden ser monitoreadas por modelId:

• Numberoftokenspendingprocessing – Muestra cuántos tokens todavía están esperando ser procesados, ayudándole a medir el tamaño de la cartera
• NumberOfRecordSpendingProcessing – rastrea cuántas solicitudes de inferencia quedan en la cola, dando visibilidad al progreso del trabajo
• NumberOfInputTokensProcessEdPerminute – Mide la rapidez con la que se consumen los tokens de entrada, lo que indica el rendimiento general del procesamiento
• NumberOfoutputTokensProcessEdPerminute – Mide la velocidad de generación

Para ver estas métricas utilizando la consola CloudWatch, complete los siguientes pasos:

1. En la consola de CloudWatch, elija Métrica En el panel de navegación.
2. Filtro de métricas por AWS/Bedrock/Batch.
3. Seleccione su modelId Para ver métricas detalladas para su trabajo por lotes.

Para obtener más información sobre cómo usar CloudWatch para monitorear las métricas, consulte Consulte sus métricas de CloudWatch con CloudWatch Metrics Insights.

Las mejores prácticas para monitorear y administrar la inferencia por lotes

Considere las siguientes mejores prácticas para monitorear y administrar sus trabajos de inferencia por lotes:

• Monitorización y optimización de costos – Monitoreando las métricas de rendimiento del token (NumberOfInputTokensProcessedPerMinute y NumberOfOutputTokensProcessedPerMinute) Junto con sus horarios de trabajo por lotes, puede estimar los costos de inferencia utilizando información en la página de precios de Amazon Bedrock. Esto le ayuda a comprender qué tan rápido se procesan los tokens, qué significa eso para el costo y cómo ajustar el tamaño del trabajo o la programación para mantenerse dentro del presupuesto mientras satisfacen las necesidades de rendimiento.
• SLA y seguimiento de rendimiento – El NumberOfTokensPendingProcessing Metric es útil para comprender el tamaño de su lote y el seguimiento del progreso general del trabajo, pero no se debe confiar en los tiempos de finalización del trabajo porque pueden variar dependiendo del tráfico de inferencia general a Amazon Bedrock. Para comprender la velocidad de procesamiento por lotes, recomendamos monitorear las métricas de rendimiento (NumberOfInputTokensProcessedPerMinute y NumberOfOutputTokensProcessedPerMinute) en cambio. Si estas tasas de rendimiento caen significativamente por debajo de su línea de base esperada, puede configurar alertas automatizadas para activar pasos de remediación, por ejemplo, cambiar algunos trabajos al procesamiento a pedido para cumplir con sus plazos esperados.
• Seguimiento de finalización de trabajo – Cuando la métrica NumberOfRecordsPendingProcessing Llega a cero, indica que todos los trabajos de inferencia por lotes de ejecución están completos. Puede usar esta señal para activar las notificaciones de las partes interesadas o comenzar los flujos de trabajo aguas abajo.

Ejemplo de métricas de CloudWatch

En esta sección, demostramos cómo puede usar las métricas de CloudWatch para configurar alertas y automatización proactivas.

Por ejemplo, puede crear una alarma de CloudWatch que envíe un Servicio de notificación simple de Amazon (Amazon SNS) Notificación cuando el promedio NumberOfInputTokensProcessedPerMinute excede 1 millón en un período de 6 horas. Esta alerta podría impulsar la revisión de un equipo de OPS o activar tuberías de datos posteriores.

La siguiente captura de pantalla muestra que la alerta tiene En alarma Estado porque el trabajo de inferencia por lotes alcanzó el umbral. La alarma activará la acción de destino, en nuestro caso, un correo electrónico de notificación SNS al equipo OPS.

La siguiente captura de pantalla muestra un ejemplo del correo electrónico que recibió el equipo de OPS, notificándoles que el número de tokens procesados ​​excedió su umbral.

También puede construir un tablero de CloudWatch que muestre las métricas relevantes. Esto es ideal para el monitoreo operativo centralizado y la resolución de problemas.

Conclusión

La inferencia de lotes de rock de Amazon Bedrock ahora ofrece soporte de modelo ampliado, rendimiento mejorado, visibilidad más profunda en el progreso de sus cargas de trabajo por lotes y un mayor monitoreo de costos.

Comience hoy lanzando un trabajo de inferencia de lotes de roca en la base de Amazon, configurando las alarmas de CloudWatch y construyendo un tablero de monitoreo, para que pueda maximizar la eficiencia y el valor de sus cargas de trabajo generativas de IA.

Sobre los autores

Vamsi Thilak Gudi es un arquitecto de soluciones en Amazon Web Services (AWS) en Austin, Texas, ayudando a los clientes del sector público a construir soluciones en la nube efectivas. Trae diversa experiencia técnica para mostrar a los clientes lo que es posible con las tecnologías de AWS. Contribuye activamente a la comunidad de campo técnico de AWS para la IA generativa.

Yanyan Zhang Es una científica de datos de IA generativa senior en Amazon Web Services, donde ha estado trabajando en tecnologías de IA/ML de vanguardia como especialista generativo de IA, ayudando a los clientes a usar IA generativa para lograr los resultados deseados. Yanyan se graduó de la Universidad de Texas A&M con un doctorado en Ingeniería Eléctrica. Fuera del trabajo, le encanta viajar, hacer ejercicio y explorar cosas nuevas.

AVISH KHOSLA es un desarrollador de software en el equipo de inferencias por lotes de Bedrock, donde el equipo crea sistemas confiables y escalables para ejecutar cargas de trabajo de inferencia a gran escala en modelos de IA generativos. Le importa la arquitectura limpia y los grandes documentos. Cuando no está enviando código, está en una corte de bádminton o pegado a una buena combinación de cricket.

Chintan Vyas Sirve como Gerente de Producto Principal: Técnica en Amazon Web Services (AWS), donde se enfoca en los servicios de Amazon Bedrock. Con más de una década de experiencia en ingeniería de software y gestión de productos, se especializa en construir y escalar servicios de IA generativos a gran escala, seguro y de alto rendimiento. En su papel actual, lidera la mejora de las interfaces programáticas para Amazon Bedrock. A lo largo de su mandato en AWS, ha impulsado con éxito las iniciativas de gestión de productos en múltiples servicios estratégicos, incluidas cuotas de servicios, gestión de recursos, etiquetado, personalización de Amazon, roca madre de Amazon y más. Fuera del trabajo, a Chintan le apasiona la mentoría de los gerentes de productos emergentes y disfruta explorar las pintorescas cadenas montañosas del noroeste del Pacífico.

Mayank Parashar es gerente de desarrollo de software para Amazon Bedrock Services.