Esta publicación fue coescrita con Mohammad Jama, Yun Kim y Barry Eom de Datadog.
La aparición de agentes generativos de IA en los últimos años ha transformado el panorama de IA, impulsado por los avances en modelos de idiomas grandes (LLM) y el procesamiento del lenguaje natural (PNL). El enfoque está cambiando de simples asistentes de IA a sistemas de IA agente que pueden pensar, iterar y tomar medidas para resolver tareas complejas. Estos sistemas de IA agente pueden usar múltiples agentes, interactuar con herramientas tanto dentro como fuera de los límites organizacionales para tomar decisiones y conectarse con fuentes de conocimiento para aprender sobre los procesos. Si bien estos sistemas autónomos ayudan a las organizaciones a mejorar la productividad en el lugar de trabajo, racionalizar los flujos de trabajo de negocios y transformar la investigación y más, introducen requisitos operativos adicionales. Para garantizar la confiabilidad, el rendimiento y el uso de IA responsable, los equipos necesitan soluciones de observabilidad diseñadas para el comportamiento del agente, la coordinación y el flujo de ejecución.
Las capacidades de colaboración del sistema multi-agéntico de Agentes de roca madre de Amazon Haga que sea sencillo y rápido para construir estos sistemas. Los desarrolladores pueden configurar un conjunto de agentes coordinados descomponiendo solicitudes complejas de usuarios en múltiples pasos, llamando a API internas, accediendo a bases de conocimiento y manteniendo conversaciones contextuales, todo sin administrar la lógica ellos mismos.
Para que las organizaciones escalaran sistemas de IA agentes, necesitan soluciones de observabilidad sólidas para garantizar la confiabilidad, el rendimiento y el uso responsable de la tecnología de IA.
Observabilidad de Datadog LLM Ayuda a los equipos a operar aplicaciones LLM de grado de producción con confianza al monitorear los problemas de rendimiento, calidad y seguridad, como picos de latencia, alucinaciones, selección de herramientas o intentos de inyección inmediata. Con la visibilidad completa del comportamiento del modelo y el contexto de la aplicación, los desarrolladores pueden identificar, solucionar problemas y resolver problemas más rápido.
Nos complace anunciar una nueva integración entre la observabilidad de Datadog LLM y los agentes de roca madre de Amazon que ayuda a monitorear aplicaciones de agente construidas en Amazon Bedrock. Más allá de rastrear la salud general de las aplicaciones de agente, los desarrolladores pueden rastrear ejecuciones de agentes paso a paso a través de flujos de trabajo complejos y monitorear llamadas de modelos fundamentales, invocaciones de herramientas e interacciones de base de conocimiento.
En esta publicación, exploraremos cómo la observabilidad de Datadog’s LLM proporciona la visibilidad y el control necesarios para monitorear, operar y depurar las aplicaciones de agente de grado de producción construidas en los agentes de la roca madre de Amazon.
Descripción general de la solución
La integración de Datadog con los agentes de roca madre de Amazon ofrece una observabilidad integral adaptada para aplicaciones de IA generativas de agente que invocan mediante programación agentes mediante el uso de la API invokeagent. Esta integración captura la telemetría detallada de cada ejecución del agente, lo que permite a los equipos monitorear, solucionar problemas y optimizar sus aplicaciones LLM de manera efectiva.
Optimizar los costos de rendimiento y control
A medida que los equipos escalan sus aplicaciones de agente, cada interacción de agente, ya sea recuperar conocimiento, invocar herramientas o llamar a los modelos, puede impactar la latencia y el costo. Sin visibilidad de cómo se utilizan estos recursos, es difícil identificar las ineficiencias o controlar el gasto a medida que los flujos de trabajo se vuelven más complejos. Para las aplicaciones construidas en los agentes de base, Datadog captura y proporciona automáticamente:
- Monitoreo de latencia: Rastrear el tiempo tardado para cada paso y la ejecución general para identificar cuellos de botella
- Seguimiento de la tasa de error: Observe la frecuencia y los tipos de errores encontrados para mejorar la fiabilidad y los problemas de depuración
- Análisis de uso del token: Monitorear el número de tokens consumidos durante el procesamiento para administrar los costos
- Detalles de invocación de herramientas: Obtenga información sobre las llamadas de API externas realizadas por agentes, como funciones lambda o consultas de base de conocimiento
Este panel de observabilidad LLM presenta una descripción detallada de un rendimiento y patrones de uso de Chatbot con AI con IA.
Monitorear flujos de trabajo de agente complejos
Los agentes pueden realizar tareas específicas, invocar herramientas, acceder a bases de conocimiento y mantener conversaciones contextuales. Datadog proporciona una visibilidad integral de los flujos de trabajo de agentes mediante la captura de la telemetría detallada de los agentes de la roca madre de Amazon, lo que permite a los equipos monitorear, solucionar problemas y optimizar sus aplicaciones LLM de manera efectiva, proporcionando:
- Visibilidad de ejecución de extremo a extremo: Visualice cada operación del flujo de trabajo del agente, desde el preprocesamiento hasta el procesamiento posterior, incluidas las evaluaciones de orquestación y barandilla
- Solución eficiente: Depurar con información detallada de ejecución para identificar rápidamente los puntos de falla y comprender los contextos de error
Este rastro de observabilidad de LLM detalla la ejecución de un bot de agente de viajes usando el lecho de roca de Amazon.
Evaluar la salida, la selección de herramientas y la calidad general
En las solicitudes de agente, no es suficiente saber que una tarea completada, también necesita saber qué tan bien se completó. Por ejemplo, ¿son los resúmenes generados precisos y sobre el tema? ¿Son claras, útiles y libres de contenido dañino? ¿Un agente seleccionó la herramienta correcta? Sin visibilidad de estas preguntas, las fallas silenciosas pueden pasar y socavar los resultados previstos, como reducir las transferencias a los agentes humanos o automatizar las decisiones repetitivas.
La observabilidad de Datadog LLM ayuda a los equipos a evaluar la calidad y seguridad de sus aplicaciones LLM mediante la evaluación de las entradas y salidas de las llamadas modelo, tanto a nivel de raíz como dentro de los pasos anidados de un flujo de trabajo. Con esta integración, puedes:
- Ejecutar evaluaciones incorporadas: Detectar calidad, seguridad y seguridad, problemas como inyección inmediata, finalización fuera del tema o contenido tóxico, con Evaluaciones de observabilidad de Datadog LLM
- Enviar evaluaciones personalizadas: Visualice las métricas de calidad específicas del dominio, como si una salida coincidía con formatos esperados o se adhiere a las pautas de políticas
- Monitorear las barandillas: Inspeccione cuándo y por qué los filtros de contenido se activan durante la ejecución.
Estas ideas aparecen directamente junto con la latencia, el costo y los datos de rastreo: los equipos que obtienen identificados no solo cómo se comportó un agente, sino si produjo el resultado correcto.
Cómo empezar
La observabilidad del agente de base de Datadog está inicialmente disponible para aplicaciones de Python, con soporte de lenguaje adicional en la hoja de ruta. Rastrear las invocaciones de agente de roca madre se maneja integrando Datadog’s ddtrace biblioteca en su aplicación.
Requisitos previos
- Un Cuenta de AWS con Base Acceso habilitado.
- Una aplicación a la base de pitón que usa el rock de Amazon. Si es necesario, consulte los ejemplos en sesiones de amazonas.
- Una cuenta de datadog y llave de API.
La instrumentación se realiza con solo unos pocos pasos, consulte los últimos LLM Observabilidad Python SDK Reference Para detalles completos. En la mayoría de los casos, solo se requieren 2 líneas para agregar DDTRACE a su aplicación:
La biblioteca DDTRACE se puede configurar utilizando variables de entorno o en valores de paso de tiempo de ejecución a la función Enable. Consulte la referencia SDK anterior y también el documentación de configuración Para más detalles y opciones de personalización.
Finalmente, asegúrese de detener o eliminar cualquier aplicación cuando haya terminado para administrar los costos.
Conclusión
Datadog es un Socio de especialización de AWS y Vendedor de mercado de AWS Eso ha estado construyendo integraciones con servicios de AWS durante más de una década, acumulando un creciente catálogo de más de 100 integraciones. Esta nueva integración de agentes de roca madre de Amazon se basa en el sólido historial de Datadog del éxito de la asociación de AWS. Para las organizaciones que buscan implementar soluciones generativas de IA, esta capacidad proporciona herramientas de observabilidad esenciales para garantizar que sus aplicaciones de IA de agente construidas en los agentes de Bedrock de AWS funcionen de manera óptima y brindan un valor comercial.
Para comenzar, ver Observabilidad de Datadog LLM.
Para obtener más información sobre cómo Datadog se integra con los servicios de Amazon AI/ML, consulte Monitorear la roca madre de Amazon con Datadog y Monitoreo de Amazon Sagemaker con Datadog.
Si aún no tiene una cuenta de Datadog, puede registrarse para un Prueba gratuita de 14 días hoy.
Sobre los autores
Nina Chen es gerente de soluciones para clientes en AWS especializado en las principales compañías de software para aprovechar el poder de la nube de AWS para acelerar su innovación y crecimiento de sus productos. Con más de 4 años de experiencia trabajando en el proveedor de software independiente estratégico (ISV) vertical, Nina disfruta guiar a los socios de ISV a través de sus viajes de transformación en la nube, ayudándoles a optimizar su infraestructura en la nube, impulsar la innovación de productos y ofrecer experiencias excepcionales de los clientes.
Sujatha Kuppuraju es un arquitecto principal de soluciones en AWS, especializada en nubes y seguridad generativa de IA. Ella colabora con los equipos de liderazgo de las compañías de software para arquitectas soluciones seguras y escalables en AWS y guía el desarrollo de productos estratégicos. Aprovechando su experiencia en arquitectura en la nube y tecnologías emergentes, Sujatha ayuda a las organizaciones a optimizar las ofertas, mantener una seguridad robusta y llevar productos innovadores al mercado en un panorama tecnológico en evolución.
Jason Mimick es un arquitecto de soluciones socio en AWS que apoya a los mejores clientes y trabaja en estrecha colaboración con los equipos diariamente de productos, ingeniería, marketing y ventas. Jason se enfoca en permitir el desarrollo de productos y el éxito de las ventas para socios y clientes en todas las industrias.
Mohammad Jama es gerente de marketing de productos en Datadog. Dirige el mercado de Go-to-Market para las integraciones de AWS de Datadog, trabajando estrechamente con productos, marketing y ventas para ayudar a las empresas a observar y asegurar sus entornos híbridos y AWS.
Yun Kim es ingeniero de software en el equipo de observabilidad LLM de Datadog, donde se especializa en el desarrollo de SDK e integraciones del lado del cliente. Está entusiasmado con el desarrollo de modelos y marcos de IA generativos transparentes y confiables.
Barry Eom es gerente de producto en Datadog, donde ha lanzado y lidera el desarrollo de soluciones de observabilidad AI/ML y LLM. Le apasiona permitir a los equipos crear y producir tecnologías éticas y humanas.