Evaluación de agentes de IA: un plan de producción con Strands y AgentCore

Esta publicación fue coescrita con Motorway y el equipo de ingeniería de clientes de IA (PACE) y creación de prototipos de AWS.

Motorway, un mercado de automóviles en línea con sede en el Reino Unido, realiza una subasta diaria en la que hasta 8.000 concesionarios pujan por hasta 2.500 vehículos. Motorway trabajó con AWS Prototyping y AI Customer Engineering (PACE) para crear un agente de búsqueda de acciones de concesionarios con tecnología de inteligencia artificial que transforme la forma en que los concesionarios encuentran vehículos, reemplazando horas de filtrado manual con consultas en lenguaje natural.

El desafío

El agente da una respuesta que suena segura, pero ¿cómo se demuestra que funciona de manera confiable con dinero real en juego?

Los errores en la selección de herramientas provocan resultados de búsqueda incorrectos, lo que erosiona la confianza del distribuidor. Las malas interpretaciones de la búsqueda semántica arrojan resultados irrelevantes. Una consulta como “Coches de gasolina, híbridos y eléctricos de hasta 5 años” requiere que el agente analice correctamente varias restricciones. La deriva del contexto en conversaciones de varios turnos hace perder el refinamiento del distribuidor. Los resultados no deterministas hacen que las pruebas de un solo ensayo no sean confiables.

la solucion

Juntos, Motorway y AWS crearon un proceso de evaluación de un extremo a otro que redujo los resultados incorrectos de 1 de cada 8 consultas a 1 de cada 50 y redujo el tiempo de detección de problemas de unas pocas horas a unos pocos minutos.

El proyecto combina el SDK de Strands Agents con Amazon Bedrock AgentCore, un servicio totalmente administrado para implementar y operar agentes de IA a escala. En esta publicación, aprenderá cómo crear este canal para sus propios agentes:

Una estrategia de evaluación de dos fases que abarca pruebas en tiempo de construcción con strands-agents-evals (la biblioteca de evaluación de código abierto para Strands Agents) y monitoreo de producción con Amazon Bedrock AgentCore Assessments. Un marco de tres capas para evaluar el uso de herramientas, el razonamiento y la calidad de los resultados. Un proceso de implementación de cinco etapas con puertas de calidad que bloquean los lanzamientos cuando las métricas caen por debajo de los umbrales.

Un repositorio complementario proporciona un modelo implementable que puede adaptar para sus propios agentes. Aunque el plan utiliza servicios de AWS, los principios básicos son requisitos esenciales e independientes del sistema para cualquier agente de IA listo para producción. Estos principios incluyen el marco de evaluación de tres capas y el uso de la métrica pass^k para lograr coherencia.

Requisitos previos

Debe tener los siguientes requisitos previos para seguir esta publicación.

Tiempo para completarlo: 30 a 45 minutos para la implementación inicial y 2 a 3 horas para personalizarlo para su dominio.

Costos estimados: ejecutar el conjunto de evaluación de muestra cuesta aproximadamente entre 5 y 10 dólares en cargos de inferencia de Amazon Bedrock. Los costos de seguimiento de la producción varían según la tasa de muestreo.

Nota de seguridad: el repositorio complementario implementa funciones de AWS Identity and Access Management (IAM) con privilegios mínimos, almacena claves de API en el almacén de parámetros de AWS Systems Manager (no en variables de entorno) y utiliza parámetros escritos para ayudar a prevenir ataques de inyección. Consulte el archivo README del repositorio para obtener más detalles.

El ejemplo práctico: un agente de búsqueda de acciones de un distribuidor

Motorway creó el agente de búsqueda de acciones de distribuidores en Strands Agents SDK y Amazon Bedrock AgentCore. El agente expone ocho herramientas que combinan filtrado estructurado en más de 89 atributos de vehículos con búsqueda de similitud de vectores impulsada por LanceDB y Amazon Titan Text Embeddings V2.

Los distribuidores normalmente pasaban horas explorando listados utilizando archivos CSV y filtros rígidos. Al presentar un agente de IA conversacional, los concesionarios ahora pueden hablar con el agente: "Encuéntrame SUV diésel de menos de 25.000 cerca de mi concesionario" o "algo deportivo y automático para una familia".

Con alrededor de 1500 usuarios simultáneos durante las horas pico, lograr que el comportamiento de los agentes sea correcto no es opcional. Un error en la selección de herramientas o una mala interpretación de la búsqueda semántica afecta directamente la confianza del usuario. La Figura 1 muestra el flujo de solicitudes de un extremo a otro: los distribuidores envían consultas en lenguaje natural a través de una interfaz web, que se dirige a Amazon Bedrock AgentCore Runtime. El tiempo de ejecución organiza llamadas a ocho herramientas diferentes mientras utiliza modelos de Amazon Bedrock (Claude para el razonamiento, Amazon Titan para las incrustaciones). Las respuestas de las herramientas fluyen a lo largo del tiempo de ejecución para generar los resultados finales para el distribuidor.

Por qué la evaluación del agente es diferente

La evaluación del modelo de lenguaje grande (LLM) se centra en la calidad de la generación del texto: coherencia, precisión de los hechos y relevancia de la respuesta. La evaluación del agente evalúa algo fundamentalmente diferente. Piénselo de esta manera: la evaluación LLM examina el rendimiento del motor. La evaluación del agente evalúa cómo se conduce todo el vehículo en el tráfico, bajo la lluvia o con el asiento trasero lleno de pasajeros.

Las métricas tradicionales de LLM no le dicen si el agente de la autopista llamó a la herramienta de búsqueda adecuada para "modelos Suzuki de grado 1". No revelan si el agente pasó los parámetros de filtro correctos a LanceDB. Y no saben si un distribuidor que refina los resultados de un turno anterior obtiene la respuesta correcta.

Dimensión de evaluación Por qué es importante para los agentes Finalización de tareas Los agentes ejecutan flujos de trabajo de varios pasos donde la finalización parcial es común Corrección del uso de herramientas Herramientas incorrectas o parámetros incorrectos pueden descarrilar flujos de trabajo completos Coherencia del razonamiento El razonamiento defectuoso conduce a fallas impredecibles a medida que cambian las condiciones Confiabilidad y consistencia No determinismo significa que la misma entrada puede producir resultados diferentes Seguridad y cumplimiento Los agentes autónomos pueden tomar acciones con consecuencias en el mundo real Costo y eficiencia Un agente que requiere 50 llamadas API por tarea puede no ser económicamente viable

Una consulta precisa como “Volkswagen Golf 7-12 años” podría funcionar perfectamente, pero una variante coloquial como “Estoy buscando un VW más antiguo” podría fallar si la capa de búsqueda semántica no se evalúa adecuadamente.

Detecte problemas antes de la implementación con strands-agents-evals

El plan implementa la evaluación en dos fases que se corresponden con el ciclo de vida de GenAIOps. La evaluación en tiempo de construcción detecta los problemas antes de la implementación, y la evaluación de producción detecta lo que las pruebas sintéticas pasan por alto. El siguiente diagrama (Figura 2) muestra cómo deben pasar las capas de uso de herramientas, razonamiento y calidad de salida antes de la implementación. El marco evalúa a los agentes en tres capas:

La Capa 1 (Uso de herramientas) valida la selección correcta de herramientas y el paso de parámetros con un umbral superior al 95 por ciento. La Capa 2 (Razonamiento) evalúa la toma de decisiones lógicas con un umbral superior al 85 por ciento. La Capa 3 (Calidad de salida) mide la utilidad y precisión de la respuesta con un umbral superior al 90 por ciento. Las tres capas deben pasar antes de que continúe el despliegue.

Figura 2: Marco de evaluación de tres capas con uso de herramientas de Capa 1 en un umbral superior al 95 %, razonamiento de Capa 2 en un umbral superior al 85 % y calidad de salida de Capa 3 en un umbral superior al 90 %

Durante el desarrollo y la integración continua y la implementación continua (CI/CD), la canalización utiliza el marco strands-agents-evals para detectar problemas antes de la implementación. Proporciona validación de resultados, evaluación de trayectorias, simulación de conversaciones de varios turnos y generación automatizada de experimentos. Cada uno está diseñado para funcionar de forma nativa con agentes creados en el SDK de Strands Agents. El marco proporciona tres primitivas:

Experimento: una colección de casos de prueba ejecutados contra el agente. Caso: consulta de entrada, resultado esperado y trayectoria esperada de la herramienta. Evaluador: Lógica de puntuación (determinista o basada en LLM).

Estructura tus pruebas en capas. La capa 1 ejecuta clasificadores deterministas basados ​​en códigos para lograr precisión en la selección de herramientas. Las capas 2 y 3 utilizan evaluadores LLM como jueces (usando un LLM para calificar los resultados de los agentes) para el razonamiento y la calidad de los resultados.

Las subclases del evaluador personalizado manejan inquietudes específicas del dominio. Para el agente de autopistas, estos cubren la actualización de los datos, el alcance del distribuidor y las barreras de seguridad. Su agente tendrá sus propias restricciones de dominio.

Tres tipos de calificadoras

El marco de evaluación utiliza tres tipos de calificadores, cada uno de ellos adecuado a diferentes necesidades de evaluación.

Tipo de calificador Capa Qué mide Compensación Determinista basado en código Capa 1 Selección de herramientas, paso de parámetros, ordenamiento de trayectorias Rápido, económico y reproducible LLM como juez (Claude Sonnet 4.6) Capas 2–3 Calidad del razonamiento, utilidad de los resultados, éxito de objetivos Flexible; no determinista (controlado mediante pass^k) Revisión humana Calibración Casos extremos y seguridad Caro; utilizado para calibrar las indicaciones del juez LLM

En la práctica, calificar lo que el agente produjo detecta más problemas que calificar el camino que tomó. Lo que le importa es que el usuario haya obtenido resultados relevantes, no qué herramienta llamó primero el agente.

Marco de evaluación de tres niveles

La evaluación en tiempo de construcción opera en tres capas distintas, cada una con umbrales de aprobación/rechazo específicos.

Capa 1: Uso de herramientas (umbral > 95 por ciento). ¿El agente llamó a las herramientas adecuadas con los parámetros correctos?

"Vehículos diésel de £ 7 000 a £ 20 000" deben usar search_vehicles con filtros escritos
(tipo_combustible=diesel, precio_mínimo=7000, precio_máximo=20000). El “hatchback moderno con bajo kilometraje” debería activar la búsqueda híbrida, combinando incrustaciones semánticas con filtros estructurados.

Esto se mide de forma determinista: ToolSelectionGrader comprueba qué herramientas se llamaron, TrajectoryOrderGrader verifica la secuencia de llamadas.

Capa 2: Razonamiento (umbral > 85 por ciento). ¿Fue lógico el proceso de toma de decisiones? HelpnessEvaluator y TrajectoryEvaluator de strands-agents-evals utilizan la puntuación LLM como juez para evaluar si el razonamiento del agente se mantiene unido. Un agente que llega a la respuesta correcta mediante un razonamiento ilógico fracasará de manera impredecible a medida que cambien las condiciones.

Capa 3: Calidad de salida (umbral > 90 por ciento). ¿La respuesta fue útil, precisa y viable? OutputEvaluator y GoalSuccessRateEvaluator de strands-agents-evals utilizan la evaluación LLM como juez para evaluar si el usuario obtuvo una respuesta útil y bien formateada.

Las tres capas deben pasar antes del despliegue. Una falla en una capa bloquea la tubería.

Manejando el no determinismo

Debido a que los resultados del LLM varían entre ejecuciones, los resultados de una sola prueba pueden ser engañosos. La función run_all_layers() en el repositorio complementario acepta un parámetro num_trials para solucionar este problema. Dos métricas de la comunidad de investigación de generación de código ayudan a medir la confiabilidad:

pass@k mide la probabilidad de tener éxito al menos una vez en k intentos. Esta métrica es útil cuando es suficiente encontrar una solución correcta. pass^k (pasar a la potencia de k) mide la probabilidad de tener éxito en k intentos consecutivos. Esta métrica es útil cuando los usuarios esperan un comportamiento confiable en todo momento.

Para los agentes de atención al cliente, el pase^k es lo más importante. Un agente con una tasa de éxito por ensayo del 75 por ciento tiene sólo un 42 por ciento de posibilidades de pasar tres ensayos consecutivos (0,75³). Los usuarios esperan una calidad constante en cada interacción.

En el código complementario, run_all_layers(task_fn, registro, num_trials=5) ejecuta las capas de evaluación con soporte para múltiples pruebas y puertas de implementación en pass^k. Vea la implementación completa.

Gestión de casos de prueba

Los casos de prueba están organizados por categoría:

Camino feliz: consultas comunes que deberían tener éxito. Casos extremos: consultas ambiguas, jerga, refinamientos de varios turnos. Seguridad/Barandillas: Consultas que el agente debe rechazar o redirigir.

Cuando el monitoreo de producción detecta un problema, esa interacción se convierte en un nuevo caso de prueba. La suite de Motorway creció de 50 casos iniciales a 150 en tres meses, cada uno de ellos basado en el comportamiento real del usuario. Comience con entre 20 y 50 casos y deje que los datos de producción hagan crecer el conjunto.

Incluya casos negativos en los que el agente no debería llamar a determinadas herramientas. Por ejemplo, una consulta de perfil debe llamar a la herramienta de perfil, no a la herramienta de búsqueda. Una consulta estructurada debe utilizar una búsqueda estructurada, no un recurso SQL sin formato. Las evaluaciones unilaterales crean una optimización unilateral.

Prueba de conversación de varios turnos

La evaluación de un solo turno pasa por alto una dimensión crítica: la coherencia conversacional. Los distribuidores refinan naturalmente las búsquedas en múltiples turnos:

Turno 1: "Encuéntrame SUV diésel". Turno 2: "Ahora muéstrame sólo las automáticas". Turno 3: "¿Qué pasa con las propiedades?"

El marco strands-agents-evals proporciona ActorSimulator para generar interacciones realistas de múltiples turnos e InteractionsEvaluator para calificar la retención de contexto entre turnos. Las pruebas de varios turnos detectan la deriva del contexto, los errores de acumulación de filtros y las fallas en la resolución de pronombres que las pruebas de un solo turno pasan por alto.

Supervise el comportamiento de producción con AgentCore Evaluaciones

Después de implementar su agente Strands en Amazon Bedrock AgentCore Runtime, AgentCore Assessments proporciona monitoreo continuo. Se integra con Strands Agents a través de la instrumentación OpenTelemetry (el marco de observabilidad estándar de la industria). La Figura 3 ilustra la arquitectura en producción, con seguimientos de observabilidad muestreados entre el 1 y el 5 por ciento y con métricas agregadas a Amazon CloudWatch.

Figura 3: Arquitectura de evaluación de producción con AgentCore Runtime, seguimientos de OpenTelemetry de muestra que alimentan las evaluaciones de AgentCore y métricas en CloudWatch con alertas de Amazon SNS

Dos enfoques de seguimiento

AgentCore Evaluaciones ofrece dos modos complementarios:

La evaluación bajo demanda analiza interacciones de agentes específicos seleccionando intervalos de los registros de Amazon CloudWatch. Esto es útil para depurar problemas o validar correcciones.

La evaluación en línea toma muestras automáticamente del tráfico en vivo y aplica evaluadores en segundo plano. Configure una frecuencia de muestreo (se recomienda del 1 al 5 por ciento), seleccione hasta 10 evaluadores y déjelo ejecutar.

Evaluadores integrados y personalizados

AgentCore proporciona evaluadores preconfigurados para escenarios comunes. La siguiente tabla muestra los evaluadores integrados y lo que miden.

Nivel del evaluador Qué mide Builtin.Helpfulness TRACE Qué tan útil es la respuesta del agente (puntuación de 0 a 1 en 7 niveles) Builtin.GoalSuccessRate SESSION Si se logró el objetivo general del usuario Builtin.ToolSelection TOOL_CALL Si el agente seleccionó las herramientas apropiadas Builtin.Correctness TRACE Precisión factual de la respuesta

Para requisitos específicos del dominio, puede crear evaluadores personalizados utilizando una configuración LLM como juez. Cada agente tiene restricciones de dominio que los evaluadores integrados no cubren, incluida la actualización de los datos, el alcance del acceso, las acciones prohibidas, los presupuestos de latencia y los límites de costos.

El repositorio complementario incluye cinco subclases de Evaluador personalizadas que puede adaptar:

Evaluator Qué valida DataFreshnessEvaluator Valida las marcas de tiempo del ciclo de subasta para que el agente no muestre un inventario obsoleto SafetyGuardrailEvaluator Impide que el agente intente acciones de oferta automatizadas DealerDataScopingEvaluator Aplica consultas específicas del distribuidor para el aislamiento de datos

Consulte el repositorio complementario para ver ejemplos de LatencyEvaluator y CostEvaluator.

Métricas clave para realizar un seguimiento

El repositorio complementario incluye una pila de AWS CDK que proporciona paneles y alarmas de CloudWatch. Realice un seguimiento de estas métricas para monitorear el estado del agente.

Métrica Objetivo Umbral de alerta Tasa de finalización de tareas >95 % <80 % Precisión de selección de herramientas >95 % <90 % Puntuación de utilidad (0-1) >0,83 <0,58 Latencia de respuesta P50 / P99 <2 s / <10 s >5 s / >15 s Tasa de alucinaciones <2 % >5 % Costo por interacción Tendencia del monitor >2 veces la línea base

Haga de los controles de calidad una puerta de implementación

La evaluación debe ser una puerta de calidad en su proceso de implementación, no una ocurrencia tardía. La Figura 4 muestra el proceso de implementación con puertas de evaluación, que abarcan la evaluación en tiempo de compilación, la validación provisional, el modo sombra, las pruebas A/B y la implementación de producción, con fallas que bloquean la implementación.

Figura 4: Canal de implementación de cinco etapas que cubre la evaluación del tiempo de compilación, la validación de la etapa intermedia, el modo sombra, las pruebas A/B y la implementación de producción, con fallas que bloquean la implementación y alimentan nuevos casos de prueba.

El proceso de implementación sigue cinco fases:

Evaluación en tiempo de construcción: pruebas unitarias, corrección de herramientas (ToolSelectionGrader >95 por ciento), pruebas de trayectoria y puntuación de LLM como juez (HelpfulnessEvaluator >85 por ciento). Validación de preparación: evaluación de AgentCore bajo demanda con tráfico sintético frente a datos de preparación. Modo sombra: Tráfico de producción real procesado en paralelo sin impacto en el usuario. Ejecute esto durante al menos 4 horas con un umbral de desviación del 2 por ciento. Pruebas A/B: 5 por ciento del tráfico en vivo se dirige al agente candidato para una medición de resultados real. Lanzamiento de producción: 100 por ciento de tráfico con evaluación y monitoreo continuo en línea.

Usted define umbrales para cada fase: la precisión de la selección de herramientas por debajo del 95 por ciento o la finalización de la tarea por debajo del 80 por ciento bloquea la implementación. Para versiones principales, evaluación de múltiples pruebas con num_trials=5 puertas en pass^k para detectar fallas no deterministas.

Modo sombra

Entre la preparación y la producción, ejecute el agente candidato en consultas reales sin afectar a los usuarios. El modo sombra recibe una copia del tráfico de producción, lo procesa a través del candidato en paralelo y compara los resultados. Ejecute el modo sombra durante al menos 4 horas antes de continuar con la prueba A/B. Defina un umbral de desviación (el 2 por ciento es un buen punto de partida) que detenga la implementación automáticamente.

El modo Sombra detecta problemas que las otras etapas pasan por alto:

Manejo del tiempo de espera bajo carga simultánea. Falta terminología de dominio en las pruebas sintéticas. Orden de llamadas de herramienta que provoca picos de latencia bajo patrones de tráfico reales.

Primeros pasos: un enfoque gradual

Fase 1: cree su conjunto de pruebas. Comience con entre 20 y 50 casos de prueba extraídos de consultas de usuarios reales. Incluye casos positivos y negativos. Pruebe qué debe hacer el agente y qué debe rechazar.

Fase 2: configurar la evaluación del tiempo de compilación. Haga coincidir los tipos de niveladoras con lo que está midiendo: deterministas para la selección de herramientas, LLM como juez para el razonamiento y la calidad de los resultados.

Fase 3: Habilitar el seguimiento de la producción. Configure las evaluaciones de AgentCore con una tasa de muestreo del 1 al 5 por ciento. Comience con poco y luego aumente una vez que haya confirmado que los costos del evaluador son aceptables.

Fase 4: Cerrar el ciclo de retroalimentación. Convierta los fallos de producción en casos de prueba. Cuando los fallos se convierten en pruebas de regresión, este circuito de retroalimentación ha mejorado constantemente la calidad de la evaluación en todos los equipos.

Resultados e impacto

Antes de implementar este proceso de evaluación, el agente tenía una precisión de selección de herramientas del 87 %, lo que significaba que 1 de cada 8 consultas del distribuidor arrojaba resultados incorrectos. El equipo detectaba 12 incidentes de producción por mes y les llevó un promedio de 4 horas detectar los problemas después de que comenzaron a afectar a los distribuidores.

Después de implementar la canalización:

Métrica Antes Después Precisión de selección de herramientas 87 % 98 % Tasa de finalización de tareas 82 % 96 % Retención de contexto (varios turnos) 71 % 94 % Incidentes de producción (mensual) 12 2 Tiempo medio para detectar problemas Pocas horas Pocos minutos

El impacto comercial: los concesionarios ahora completan búsquedas de vehículos en minutos en lugar de pocas horas, con la confianza de que los resultados son precisos y actualizados.

Solución de problemas

Consulte el archivo README del repositorio complementario para obtener soluciones a problemas comunes, incluidas fallas en el evaluador de trayectoria, variación de LLM como juez, resultados de evaluación vacíos y ajuste de umbral de costos.

Conclusiones clave

Tenga en cuenta estos principios al crear su proceso de evaluación.

Coloque su evaluación en capas: el uso de herramientas (>95 por ciento), el razonamiento (>85 por ciento) y la calidad de los resultados (>90 por ciento) detectan diferentes modos de falla. Gate on pass^k, no pruebas individuales: una tasa de éxito por prueba del 75 por ciento significa solo un 42 por ciento de confiabilidad en tres ejecuciones consecutivas. Convierta los fallos de producción en casos de prueba: permita que el comportamiento real del usuario haga crecer su conjunto de evaluaciones. El modo sombra detecta lo que las pruebas sintéticas pasan por alto: el tráfico real revela manejo del tiempo de espera, terminología poco común y patrones de latencia. Comience el seguimiento con un muestreo del 1 por ciento: escale gradualmente para gestionar los costos del evaluador.

Conclusión

Ahora ha visto cómo crear un canal de evaluación para agentes de IA de producción en AWS, utilizando el agente de búsqueda de acciones de distribuidores de Motorway como ejemplo práctico.

La lección central: una respuesta fluida no significa que el agente hizo lo correcto. Debe verificar la selección de herramientas, la corrección de los parámetros, la coherencia del razonamiento y la consistencia en ejecuciones repetidas. Al combinar las pruebas en tiempo de construcción con strands-agents-evals y el monitoreo de producción con AgentCore Assessments, puede implementar agentes con evidencia de que funcionan según lo diseñado.

Estos patrones se aplican a la mayoría de los agentes de atención al cliente con múltiples herramientas: ya sea que esté creando agentes de servicio al cliente que consultan bases de conocimiento y sistemas de emisión de tickets, agentes de asesoría financiera que extraen datos de cartera y fuentes de mercado, o agentes de clasificación de atención médica que acceden a registros de pacientes y herramientas de programación.

Para empezar:

Clona el repositorio complementario:

clon de git https://github.com/aws-samples/sample-evaluating-agents-on-aws-with-strands-and-agentcore

Navegue al directorio del proyecto CDK:

cd agentes-evaluadores-de-muestras-en-aws-con-strands-y-agentcore/examples/vehicle-auction-agent/cdk

Implemente la infraestructura de muestra:
Siga los pasos de implementación README del repositorio para implementar la infraestructura de muestra. Una vez completada la implementación, verifique la infraestructura verificando que todas las pilas de AWS CloudFormation muestren el estado CREATE_COMPLETE en la consola de AWS CloudFormation. Debería ver el panel de CloudWatch y las funciones de Lambda enumeradas en sus respectivas consolas. Ejecute el conjunto de evaluación de muestra con los casos de prueba incluidos para ver el marco de tres capas en acción. Verifique el éxito confirmando: La Capa 1 (Uso de herramientas) muestra una tasa de aprobación superior al 95 %, la Capa 2 (Razonamiento) muestra una tasa de aprobación superior al 85 % y la Capa 3 (Calidad de salida) muestra una tasa de aprobación superior al 90 %. Si una capa falla, consulte los registros de CloudWatch para ver mensajes de error detallados. Personaliza los evaluadores para tu dominio. Comience con DataFreshnessEvaluator y SafetyGuardrailEvaluator como plantillas.

Para profundizar más, explore la documentación de Amazon Bedrock AgentCore y el SDK de Strands Agents en GitHub.

Limpiar recursos

Para evitar incurrir en cargos continuos, elimine los recursos creados en este tutorial:

Navegue al directorio del proyecto CDK:

cd agentes-evaluadores-de-muestras-en-aws-con-strands-y-agentcore/examples/vehicle-auction-agent/cdk

Destruir todas las pilas implementadas: confirme la eliminación cuando se le solicite. Verifique en la Consola de administración de AWS que el proceso de limpieza eliminó todos los recursos, incluidas las funciones de Lambda, los depósitos de S3, las tablas de DynamoDB, los grupos de registros y paneles de CloudWatch, las reglas de EventBridge y los temas de SNS.

Nota: Los depósitos de S3 que contienen objetos pueden requerir una eliminación manual. Exporte los datos o registros de evaluación que necesite conservar antes de ejecutar la limpieza.

Recursos

Sobre los autores

Amit Deol

Amit Deol

Amit es arquitecto senior de prototipos en AWS Prototyping and Cloud Engineering (PACE). Se asocia con clientes de AWS para experimentar con nuevas ideas y crear soluciones listas para producción a través de IA generativa, datos y análisis, y transmisión en tiempo real. Cuando no está creando prototipos, lo encontrarás dando largos paseos por el bosque.

Hin Yee Liu

Hin Yee Liu

Hin Yee es gerente senior de participación de prototipos en AWS. Lidera interacciones con clientes que aceleran el camino desde los prototipos de IA hasta la producción, ayudando a los equipos a adoptar las mejores prácticas para crear y operar cargas de trabajo de IA generativas en AWS.

Ryan Cormack

Ryan ingeniero principal en Motorway y creador de comunidades de AWS. Lidera el desarrollo de herramientas basadas en IA para distribuidores y ha hablado en la Cumbre AWS de Londres sobre la adopción de IA agente por parte de Motorway.