Hoy anunciamos una nueva API con Amazon Bedrock Guardrails. Con esta API, puede aplicar salvaguardas individuales, también conocidas como controles de seguridad, en cualquier punto de sus aplicaciones de IA agente sin crear recursos de barrera. La nueva API InvokeGuardrailChecks le brinda la flexibilidad de invocar salvaguardas admitidas en cualquier momento del bucle agente y tomar las medidas necesarias en la lógica de su aplicación. La API funciona en modo de solo detección y devuelve puntuaciones numéricas para cada salvaguarda. Puede definir umbrales y acciones personalizados en sus aplicaciones para bloquear, omitir, reintentar o registrar resultados con fines de auditoría según sus requisitos específicos.
Amazon Bedrock Guardrails proporciona protecciones configurables para ayudarle a crear aplicaciones de IA generativa seguras. Con controles de seguridad integrales en todos los modelos básicos, Amazon Bedrock Guardrails lo ayuda a detectar y filtrar contenido no deseado y proteger información confidencial tanto en las entradas de los usuarios como en las respuestas del modelo.
La nueva API InvokeGuardrailChecks amplía estas capacidades para aplicaciones de IA agentes con flujos de trabajo de múltiples turnos. Los agentes de IA planifican tareas, invocan herramientas, procesan resultados e iteran a través de bucles, a menudo sin interacción directa del usuario. Cada paso en este circuito conlleva un perfil de riesgo diferente y requiere diferentes salvaguardas. Con la API InvokeGuardrailChecks, puede aplicar las comprobaciones que necesita, donde las necesita, sin la sobrecarga operativa de aprovisionar recursos de barrera separados para cada etapa. La API devuelve una puntuación numérica que le ayuda a definir su propio umbral y acción para su aplicación. En esta publicación, explicamos cómo funciona la API InvokeGuardrailChecks y cómo usarla para crear aplicaciones de IA agentes seguras y de múltiples turnos.
Por qué la IA agente necesita controles de seguridad específicos
Las aplicaciones de IA generativa suelen seguir un patrón familiar: un usuario envía un mensaje, el modelo responde y una barrera de seguridad evalúa ambos. Usted crea un recurso de barrera, configura sus políticas y lo aplica de manera uniforme.
Los agentes de IA funcionan de manera diferente. Operan en bucles, reciben información, generan una respuesta y repiten múltiples turnos en una conversación. Una única sesión de usuario puede implicar 10, 20 o más turnos. Cada turno tiene dos etapas en las que las comprobaciones de seguridad son importantes: antes de que el contenido llegue al modelo (entrada) y antes de que la respuesta del modelo vuelva al usuario (salida).
Considere un agente de atención al cliente de varios turnos que maneje diversas solicitudes a lo largo de una conversación:
El usuario envía una pregunta inicial (riesgo: problemas con la inyección rápida). El modelo genera un plan o respuesta solicitando detalles (riesgo: el resultado del modelo puede contener contenido dañino que influya en el razonamiento del modelo). El usuario envía un seguimiento con los detalles de la cuenta (riesgo: la entrada puede contener información confidencial, es decir, información de identificación personal (PII)). El modelo genera respuesta final (riesgo: contenido dañino o inapropiado en la respuesta).
Cada paso tiene un perfil de riesgo distinto. La creación y aplicación de recursos de barrera separados para cada paso genera una sobrecarga operativa que escala mal a medida que se implementan cientos de agentes.
La API InvokeGuardrailChecks le brinda control granular por solicitud sobre qué salvaguardas ejecutar en cada paso del ciclo del agente. Devuelve puntuaciones numéricas para que pueda definir los umbrales y acciones apropiados en la lógica de su aplicación, como reintentar, bloquear u omitir, según lo que se adapte a su caso de uso.
como funciona
La API InvokeGuardrailChecks utiliza un esquema de mensajes estructurados, donde cada bloque de contenido tiene una función requerida, como sistema, usuario o asistente. Así es como operan las interacciones de los agentes en bucles. Estos roles proporcionan el contexto que la salvaguarda necesita para evaluar el contenido con precisión. Este aspecto es fundamental para los flujos de trabajo de agentes de múltiples turnos.
La API InvokeGuardrailChecks ofrece las siguientes capacidades:
Sin recursos: no es necesario crear recursos de protección por adelantado. No hay ningún paso CreateGuardrail, ni ID de guardarrail que rastrear ni versiones que administrar. Usted especifica qué salvaguardas ejecutar directamente en cada solicitud de API. Esto hace que sea sencillo agregar, eliminar o ajustar controles a medida que evolucionan sus flujos de trabajo.
Considere el siguiente escenario. Sin una API sin recursos, aplicar una protección en un paso efímero de un bucle agente requiere múltiples llamadas al ciclo de vida. Por ejemplo, supongamos que desea validar el resultado de una herramienta antes de pasarla a la siguiente iteración. Primero crea un recurso de barrera, lo invoca y luego lo elimina después de la invocación para evitar la dispersión de recursos. Cuando una única consulta de usuario agente desencadena docenas de iteraciones de bucle, cada una con diferentes requisitos de seguridad, este ciclo de vida de creación, invocación y eliminación se vuelve insostenible. La API InvokeGuardrailChecks evita esto. Llamas a la API con la protección que necesitas.
Solo detección: la API no bloquea, enmascara ni reescribe contenido. Devuelve resultados con puntuaciones numéricas para cada salvaguarda y usted decide qué acción debe tomar su aplicación. Con su umbral personalizado, tiene control total para implementar una lógica basada en el contexto. Por ejemplo, puede bloquear amenazas de alta confianza, enviar hallazgos ambiguos a revisión humana o registrar resultados de baja confianza para auditorías.
Solicitud-respuesta simétrica: las salvaguardas que configura en su solicitud son las mismas claves devueltas en la respuesta. Si solicita contentFilter y sensibleInformation, solo esos dos aparecen en los resultados. Esto hace que sea sencillo relacionar los hallazgos con las salvaguardas que los produjeron.
Detección rápida de ataques independiente: a diferencia de la API ApplyGuardrail, donde la detección rápida de ataques se incluye dentro de los filtros de contenido, la API InvokeGuardrailChecks separa la detección rápida de ataques como su propia verificación independiente. Puede invocar la detección rápida de ataques de forma independiente sin ejecutar filtros de contenido. Además, puede especificar categorías individuales como jailbreak, inyección rápida o fuga rápida para obtener un control detallado.
La API InvokeGuardrailChecks admite las siguientes salvaguardas:
Salvaguardar Lo que detecta Tipo de puntuación Filtros de contenido Contenido dañino en todas las categorías: ODIO, VIOLENCIA, SEXUAL, INSULTOS, MALA CONDUCTA Puntuación de gravedad (0–1) con puntuaciones discretas Detección rápida de ataques Jailbreaks, inyección rápida e intentos de fuga rápidas Puntuación de gravedad (0–1) con puntuaciones discretas Filtros de información confidencial Entidades de PII, incluidos correo electrónico, teléfono, SSN, números de tarjetas de crédito (31 tipos de entidades) Puntuación de confianza (0–1) con puntuaciones discretas
La API devuelve dos tipos de puntuaciones según la verificación:
Puntuación de gravedad (filtros de contenido y ataque rápido): un valor discreto en el conjunto {0, 0,2, 0,4, 0,6, 0,8, 1,0} que representa en qué medida el contenido coincide con los criterios de protección. Una puntuación de 1,0 indica la coincidencia más fuerte. Una puntuación de 0 indica contenido benigno. Esta puntuación mide la gravedad del contenido en sí, no la certeza del modelo subyacente. Puntuación de confianza (información confidencial): un valor discreto en el conjunto {0, 0,2, 0,4, 0,6, 0,8, 1,0} que representa la certeza del modelo sobre la presencia de una entidad de PII específica. Cada hallazgo también incluye messageIndex, contentIndex y desplazamientos de caracteres (beginOffset, endOffset) para una ubicación precisa dentro del contenido.
Comenzando con la API InvokeGuardrailChecks
En esta sección, explicamos cómo utilizar la API InvokeGuardrailChecks en su aplicación.
Requisitos previos
Una cuenta de AWS con acceso a Amazon Bedrock. Un rol de AWS Identity and Access Management (IAM) con permiso bedrock:InvokeGuardrailChecks. Interfaz de línea de comandos de AWS (AWS CLI) o AWS SDK (Boto3 para Python) instalado. Familiaridad básica con conceptos de IA agente.
Paso 1: configurar el permiso IAM
Debido a que la API InvokeGuardrailChecks no tiene recursos, no hay ningún ARN de protección al alcance. Adjunte la siguiente política basada en identidad a su rol o usuario de IAM:
¿Por qué utilizar el recurso: "*"? La API InvokeGuardrailChecks no tiene recursos por diseño. No hay ningún ARN de barrera asociado con ninguna llamada. El comodín es el único valor válido para este campo. Esto no otorga acceso a otros recursos de Amazon Bedrock. Se aplica únicamente a la acción base:InvokeGuardrailChecks.
Para restringir aún más el acceso, combínelo con claves de condición como las siguientes:
aws:SourceIp o aws:SourceVpc para limitar las llamadas a redes específicas. aws:PrincipalTag para restringir a equipos o roles específicos (por ejemplo, "aws:PrincipalTag/team": "agent-safety"). aws:RequestedRegion para restringir a regiones de AWS específicas (como se muestra en la política anterior).
Paso 2: aplicar filtros de contenido a la entrada del usuario
Cuando su agente reciba el mensaje de un usuario, verifique si hay contenido dañino antes de enviárselo a un modelo. El siguiente ejemplo evalúa el contenido en busca de violencia y mala conducta:
El siguiente es el resultado de ejemplo:
Las puntuaciones de gravedad altas indican que el contenido coincide fuertemente con categorías dañinas. Su aplicación decide la acción, como bloquear, registrar o escalar.
Paso 3: Detectar ataques rápidos en pares de sistemas y usuarios
Los agentes de IA a menudo tienen instrucciones del sistema que los malos actores podrían intentar anular. Puede evaluar un par de mensajes de sistema-usuario en busca de jailbreaks e intentos de fuga:
El siguiente es el resultado de ejemplo:
Paso 4: Ejecute múltiples comprobaciones en la salida de la herramienta
Cuando una herramienta devuelve resultados de una búsqueda web o una consulta de base de datos, puede aplicar varias comprobaciones en una sola llamada. La API ejecuta comprobaciones en paralelo:
El siguiente es el resultado de ejemplo:
Los resultados de información confidencial incluyen desplazamientos de caracteres, lo que le brinda datos de ubicación precisos para el enmascaramiento o redacción del lado del cliente.
Paso 5: Construya una lógica de respuesta adaptativa con puntuaciones
La API InvokeGuardrailChecks utiliza puntuaciones para impulsar decisiones basadas en el contexto. El siguiente patrón muestra la lógica de respuesta adaptativa:
Con este patrón, puede implementar umbrales que coincidan con su contexto empresarial. Una aplicación de servicios financieros podría bloquearse en 0,4, aunque una herramienta de escritura creativa podría bloquearse solo en 0,8.
Paso 6: integrar con un marco de agente
La API InvokeGuardrailChecks se integra naturalmente con los marcos de agentes que exponen los ganchos del ciclo de vida. El siguiente ejemplo utiliza Strands Agents, que proporciona enlaces en etapas clave del ciclo del agente:
InvokeGuardrailChecks en comparación con ApplyGuardrail: cuándo usar cada uno
Puede utilizar la API InvokeGuardrailChecks o ApplyGuardrail ofrecida por Amazon Bedrock Guardrails, según su caso de uso y aplicación. La siguiente tabla proporciona detalles e indicaciones sobre cuándo utilizar qué API.
InvokeGuardrailChecks ApplyGuardrail Caso de uso Comprobaciones específicas en puntos específicos o giros en los flujos de trabajo Aplicación uniforme en toda su aplicación Modelo de recursos Sin recursos. Comprueba las especificadas en línea por solicitud utilizando su propio plano de control. Cree, versione y administre recursos de barreras de seguridad por adelantado. Lógica de decisión Detectar únicamente. Devuelve puntuaciones numéricas para que usted decida la acción para la lógica de su aplicación Bloqueo, enmascaramiento o omisión automáticos basados en umbrales preconfigurados Dirigido a flujos de trabajo de IA agente que requieren requisitos de seguridad por paso Aplicaciones tradicionales de IA de solicitud-respuesta
Limpiar
La API InvokeGuardrailChecks no tiene recursos, por lo que no se crean recursos persistentes. Para limpiar después de la prueba, complete los siguientes pasos:
Elimine cualquier política o función de IAM. Elimine cualquier grupo de registros de Amazon CloudWatch si configuró el registro durante el desarrollo.
Conclusión
La API InvokeGuardrailChecks complementa las capacidades actuales de Amazon Bedrock Guardrails con bloques de construcción de seguridad componibles para IA agente. Aquí hay algunas conclusiones adicionales:
Control granular: aplique solo las salvaguardas que necesite en cada etapa de su ciclo de agente sin crear recursos de barandilla individuales para cada etapa. Esto reduce los gastos operativos a medida que escala a cientos de agentes. Decisiones basadas en aplicaciones: las puntuaciones numéricas de gravedad y confianza reemplazan los resultados opacos de aprobación o fracaso. Admiten una lógica adaptativa que se adapta a su contexto empresarial y le brindan control según su caso de uso. Gastos generales mínimos: no hay recursos de protección para crear, versionar o administrar. Especifique controles en línea y evolucione su postura de seguridad a medida que cambian los flujos de trabajo.
Para comenzar, consulte la referencia de la API InvokeGuardrailChecks y aplique comprobaciones de seguridad individuales en sus aplicaciones de IA agente.
Sobre los autores
Denis Batalov
Denis es un veterano de Amazon con 21 años de experiencia y un doctorado en aprendizaje automático. Trabajó en proyectos interesantes como Search Inside the Book, aplicaciones móviles de Amazon y Kindle Direct Publishing. Desde 2013, ha ayudado a los clientes de AWS a adoptar la tecnología AI/ML como arquitecto de soluciones. Actualmente, Denis lidera un equipo que ayuda a los clientes a crear aplicaciones Gen AI con Amazon Bedrock y también se concentra personalmente en promover la práctica de la IA responsable contribuyendo a los esfuerzos de estandarización de ISO y la UE en ese espacio. Denis es un orador público frecuente.
Shyam Srinivasan
Shyam es director principal de productos del equipo de Amazon Bedrock. Le preocupa hacer del mundo un lugar mejor a través de la tecnología y le encanta ser parte de este viaje. En su tiempo libre, a Shyam le gusta correr largas distancias, viajar alrededor del mundo y experimentar nuevas culturas con familiares y amigos.
Koushik Kethamakka
Koushik es ingeniero de software principal en AWS y se centra en iniciativas de IA/ML. Su experiencia abarca el diseño de productos y sistemas, alojamiento de LLM, evaluaciones y ajustes. Recientemente, Koushik se ha centrado en las evaluaciones de LLM y la seguridad, lo que llevó al desarrollo de productos como Amazon Bedrock Assessments y Amazon Bedrock Guardrails. Antes de unirse a Amazon, Koushik obtuvo su maestría en la Universidad de Houston.