DevOps solía ser predecible: misma entrada, misma salida, éxito binario, dependencias estáticas, métricas concretas. Se podía controlar lo que se podía predecir, medir lo concreto y asegurar lo que seguía patrones conocidos.
Entonces llegó la IA agente y todo cambió.
Los agentes operan de forma no determinista; no siguen patrones fijos. Haga la misma pregunta dos veces y obtenga respuestas diferentes. Seleccionan diferentes herramientas y enfoques mientras trabajan, en lugar de seguir flujos de trabajo predeterminados. La calidad existe en un gradiente que va de perfecto a fabricado, en lugar de pasar-fallar binario. Las dependencias y procesos predecibles han dado paso a sistemas autónomos que se adaptan, razonan y actúan de forma independiente. Los marcos de gobierno de TI tradicionales diseñados para implementaciones estáticas no pueden abordar estas complejas interacciones multisistema. Las organizaciones enfrentan posturas de seguridad inconsistentes en los flujos de trabajo agentes, brechas de cumplimiento que varían según la implementación y métricas de observabilidad opacas para las partes interesadas del negocio sin una experiencia técnica profunda.
Este cambio requiere repensar la seguridad, las operaciones y la gobernanza como dimensiones interdependientes de la salud del sistema agente. También es la historia del origen de AI Risk Intelligence (AIRI): la solución de gobernanza automatizada de nivel empresarial del Centro de innovación de IA generativa de AWS que automatiza las evaluaciones de seguridad, operaciones y controles de gobernanza en un único punto de vista que abarca todo el ciclo de vida de la agencia. Para crear esta solución, utilizamos el marco de mejores prácticas de IA responsable de AWS, nuestra guía respaldada por la ciencia basada en nuestra experiencia con cientos de miles de cargas de trabajo de IA, ayudando a los clientes a abordar consideraciones de IA responsable durante todo el ciclo de vida de la IA y tomar decisiones de diseño informadas que aceleren la implementación de sistemas de IA confiables.
De los controles estáticos a la gobernanza dinámica
Considere un riesgo de seguridad común en los sistemas agentes. El Open Worldwide Application Security Project (OWASP), una organización sin fines de lucro que rastrea las vulnerabilidades de ciberseguridad, identifica el “uso indebido y explotación de herramientas” como una de sus 10 principales aplicaciones agentes en 2026. Así es como se verá en la práctica:
Un asistente de IA empresarial tiene acceso legítimo al correo electrónico, al calendario y al CRM. Un mal actor incluye instrucciones maliciosas en un correo electrónico. El usuario solicita un resumen inocente, pero el agente comprometido sigue directivas ocultas (busca datos confidenciales y los filtra a través de invitaciones del calendario) mientras brinda una respuesta benigna que enmascara la violación. Este acceso no intencionado opera completamente dentro de los permisos otorgados: el asistente de IA está autorizado a leer correos electrónicos, buscar datos y crear eventos de calendario. Las herramientas estándar de prevención de pérdida de datos y el monitoreo del tráfico de la red no están diseñadas para evaluar si las acciones de un agente están alineadas con su alcance previsto; señalan anomalías en el movimiento de datos y el tráfico de la red, ninguna de las cuales produce este acceso no intencionado. Para gobernar sistemas multiagente a escala, la seguridad debe integrarse directamente en la forma en que operan los agentes, y viceversa.
La naturaleza sistémica del Riesgo Agentico
El escenario de exfiltración del calendario revela una idea crítica: en los sistemas agentes, las vulnerabilidades de seguridad caen en cascada a través de múltiples dimensiones operativas simultáneamente. Cuando el asistente de IA hace un mal uso de su herramienta de calendario, la infracción se produce en múltiples dimensiones:
Coordinación de múltiples agentes: la acción de un agente provocó que otros agentes amplificaran la infracción. Gestión de permisos: los controles de acceso no se validaban continuamente mientras el agente estaba en ejecución. Supervisión humana: no había ningún punto de control que requiriera confirmación humana antes de que el agente ejecutara una acción de alto riesgo; el sistema operó de forma autónoma durante toda la secuencia de explotación sin que la decisión se presentara para revisión. Visibilidad: los administradores de riesgos no pudieron interpretar los datos de monitoreo para detectar el problema antes de que los datos fueran robados.
Los enfoques tradicionales que tratan la seguridad, las operaciones y la gobernanza como preocupaciones separadas crean puntos ciegos precisamente donde los agentes coordinan, comparten contexto y propagan decisiones. AIRI pone en funcionamiento marcos como el Marco de gestión de riesgos de IA del NIST, ISO y OWASP, transformándolos de documentos de referencia estáticos que requieren interpretación humana a evaluaciones automatizadas y continuas integradas en todo el ciclo de vida de la agencia, desde el diseño hasta la posproducción. Fundamentalmente, AIRI es independiente del marco: se calibra según los estándares de gobernanza, lo que significa que el mismo motor que evalúa los controles de seguridad de OWASP también evalúa las políticas de transparencia organizacional o los requisitos de cumplimiento específicos de la industria. Esto es lo que lo hace aplicable en diversas arquitecturas de agentes, industrias y perfiles de riesgo: en lugar de codificar reglas para amenazas conocidas, AIRI razona sobre evidencia de la misma manera que lo haría un auditor, pero de forma continua y a escala.
AIRI en acción
Exploremos ahora cómo AIRI pone en práctica la gobernanza automatizada de los sistemas agentes en la práctica. Volvamos al ejemplo de nuestro asistente de IA. Supongamos, por ejemplo, que el equipo de desarrollo acaba de producir una prueba de concepto utilizando este asistente de IA. Antes de implementar su solución en producción, ejecutan AIRI. Para evaluar los fundamentos de su sistema, el equipo comienza aprovechando la capacidad de revisión automatizada de documentación técnica de AIRI para recopilar automáticamente evidencia de las implementaciones de control contenidas en la siguiente tabla, evaluando no solo la seguridad sino también los controles de calidad operativos: transparencia, controlabilidad, explicabilidad, seguridad y solidez. El análisis abarca el diseño del caso de uso, la infraestructura que lo sirve y las políticas organizativas para facilitar la alineación con los requisitos de cumplimiento y gobernanza empresarial.
Para cada dimensión de control, AIRI ejecuta un ciclo de razonamiento. En primer lugar, extrae los criterios de evaluación pertinentes del marco aplicable. Luego extrae evidencia de los artefactos reales del sistema: documentos de arquitectura, configuraciones de agentes, políticas organizacionales. A partir de ahí, razona sobre la alineación entre lo que requiere el marco y lo que demuestra el sistema, determinando en última instancia si el control se implementa efectivamente. Este enfoque basado en el razonamiento es lo que hace que AIRI sea ampliamente aplicable. En lugar de depender de conjuntos de reglas estáticas que se rompen cuando cambian las arquitecturas de los agentes, AIRI evalúa la intención frente a la evidencia. Eso significa que se adapta a nuevos diseños de agentes, nuevos marcos y nuevas categorías de riesgo, sin necesidad de rediseñarlo.
Para fortalecer la confiabilidad de estos juicios, AIRI repite cada evaluación varias veces y mide la consistencia de sus conclusiones, una técnica llamada entropía semántica. Cuando los resultados varían significativamente entre ejecuciones, indica que la evidencia es ambigua o insuficiente y desencadena una revisión humana en lugar de forzar un juicio potencialmente poco confiable. Así es como AIRI cierra la brecha entre los requisitos del marco abstracto y el comportamiento concreto de los agentes: convirtiendo la intención de gobernanza en una evaluación estructurada y repetible que se escala a través de los sistemas de agentes.
La evaluación de nuestro asistente de IA evaluó el sistema en cientos de controles y arrojó una calificación general de riesgo Medio con una tasa de aprobación justo por encima del 50 %. Más reveladora que la puntuación agregada es la distribución del riesgo, y se relaciona directamente con las vulnerabilidades en cascada que describimos.
Ocho hallazgos críticos y siete de gravedad alta indican que los controles fundamentales, particularmente en materia de seguridad, controlabilidad y protección, están ausentes o no están suficientemente operativos. Catorce hallazgos de gravedad media indican lagunas sistémicas en áreas como la explicabilidad y la solidez que, si bien no son inmediatamente catastróficas, agravan la postura general de riesgo si no se abordan. En el lado más resiliente, los hallazgos concentrados en gobernanza, equidad y transparencia reflejan áreas en las que la organización ha invertido significativamente y donde los controles funcionan según lo previsto. Después de la validación humana de los resultados, el equipo accede a un panel que sintetiza los hallazgos junto con recomendaciones priorizadas y procesables, desde configurar respuestas con referencias rastreables para reducir el riesgo de alucinaciones hasta implementar barreras de entrada que bloqueen variables que podrían introducir sesgos y fortalecer la explicabilidad a través de evidencia de decisiones descubierta. Cada recomendación se basa en la evidencia de la evaluación y se asigna a capacidades específicas de AWS que pueden subsanar la brecha.
Fundamentalmente, AIRI no es una auditoría única. La integración con el entorno de desarrollo permite a AIRI funcionar como un motor de gobernanza continua. Cada vez que el proyecto sufre un cambio, ya sea una confirmación de código, una actualización de arquitectura o una revisión de políticas, AIRI vuelve a ejecutar automáticamente la evaluación, asegurándose de que la gobernanza siga el ritmo de la velocidad de desarrollo. Los equipos obtienen un registro vivo de cómo evoluciona su postura de riesgo con cada iteración.
Convierta la gobernanza en su ventaja
El cambio hacia una gobernanza dinámica determina qué organizaciones escalan con confianza las cargas de trabajo de agencia y cuáles siguen limitadas por la supervisión manual.
Para equipos de seguridad: AIRI transforma la gestión reactiva de vulnerabilidades en una identificación proactiva de riesgos. Para equipos de operaciones: AIRI alivia la auditoría manual en sistemas de múltiples agentes con evaluaciones automatizadas y planes de mitigación. Para los administradores de riesgos: AIRI traduce los datos de monitoreo técnico en métricas relevantes para el negocio (controlabilidad, explicabilidad, transparencia), lo que permite tomar decisiones confiables sin una experiencia técnica profunda. Para los ejecutivos: AIRI representa una ventaja competitiva: implemente más rápido, escale de manera confiable y mantenga el cumplimiento de manera eficiente.
Los marcos tradicionales diseñados para implementaciones estáticas no pueden abordar las interacciones dinámicas que definen las cargas de trabajo agentes. AIRI proporciona el rigor automatizado necesario para gobernar agentes a escala empresarial: una reinvención fundamental de cómo la seguridad, las operaciones y la gobernanza trabajan juntas de manera sistémica.
La cuestión ya no es si adoptar la IA agente, sino si sus capacidades de gobernanza pueden seguir el ritmo de su ambición.
¿Listo para escalar sus cargas de trabajo de agencia con confianza? Explore cómo AIRI puede transformar su estrategia de gobernanza de IA. Contáctenos para obtener más información o programar una demostración hoy.
Sobre los autores
Segolene Dessertine-Panhard es la líder tecnológica global para iniciativas de gobernanza de IA responsable y de IA en el Centro de innovación de IA generativa de AWS. En este puesto, apoya a los clientes de AWS en la ampliación de sus estrategias de IA generativa mediante la implementación de procesos de gobernanza sólidos y sistemas eficaces de gestión de riesgos de ciberseguridad e IA, aprovechando las capacidades de AWS y los modelos científicos de última generación. Antes de unirse a AWS en 2018, fue profesora de Finanzas a tiempo completo en la Escuela de Ingeniería Tandon de la Universidad de Nueva York. También se desempeñó durante varios años como consultora independiente en disputas financieras e investigaciones regulatorias. Tiene un doctorado. de la Universidad de la Sorbona de París.
Sri Elaprolu es director del Centro de innovación de IA generativa de AWS, donde dirige un equipo global que implementa soluciones de IA de vanguardia para organizaciones empresariales y gubernamentales. Durante sus 13 años en AWS, dirigió equipos científicos de aprendizaje automático asociados con empresas globales y organizaciones del sector público. Antes de AWS, pasó 14 años en Northrop Grumman desempeñando funciones de liderazgo en desarrollo de productos e ingeniería de software. Sri tiene una Maestría en Ciencias de la Ingeniería y un MBA.
Florian Felice es científico de datos sénior en el Centro de innovación de IA generativa de AWS. En su función, es el líder científico de AI Risk Intelligence, donde desarrolla marcos y herramientas para evaluar y gobernar prácticas responsables de AI a escala. En este puesto, se centra en cuantificar y medir la incertidumbre, los riesgos y los beneficios de los modelos de IA, aprovechando su experiencia estadística para aportar rigor y precisión a la gobernanza de la IA. Tiene una maestría en Estadística y Econometría de la Escuela de Economía de Toulouse.
Daniel Ramírez es científico de datos en IA responsable en el Centro de innovación de IA generativa de AWS. Con más de 10 años de experiencia en la automatización de procesos con aprendizaje automático e IA generativa, trabaja en la intersección de sistemas avanzados de IA y gobernanza de la IA, ayudando a las organizaciones a construir una IA confiable y responsable a escala.
Antes de unirse a AWS, Daniel se desempeñó como gerente de ciencia de datos enfocado en la detección de fraudes y, antes de eso, como líder tecnológico en una startup de Serie D. Tiene una Maestría en Ciencias de la Computación de la Universidad de los Andes y una Maestría en Ciencia de Datos de la Universidad de Columbia.
Randi Larson conecta la innovación en IA con la estrategia ejecutiva para el Centro de innovación en IA generativa de AWS, dando forma a cómo las organizaciones entienden y traducen los avances técnicos en valor empresarial. Presenta la serie de podcasts del Centro de Innovación y combina narraciones estratégicas con información basada en datos a través de conferencias magistrales globales y entrevistas ejecutivas sobre la transformación de la IA. Antes de Amazon, Randi perfeccionó su precisión analítica como periodista de Bloomberg y consultora de instituciones económicas, grupos de expertos y oficinas familiares sobre iniciativas de tecnología financiera. Randi tiene un MBA de la Escuela de Negocios Fuqua de la Universidad de Duke y una licenciatura en Periodismo y Español de la Universidad de Boston.