Por Peter Davies, Gobierno Internacional, Codificador
Recientemente, la conversación dentro de las empresas reguladas ha avanzado rápidamente a medida que las organizaciones navegan por el cambio del desarrollo de software asistido por IA al desarrollo puramente agente. La atención se centra cada vez más en las plataformas y eso significa una expansión de la población de “constructores” más allá de los ingenieros acreditados hasta llegar a analistas, especialistas de dominio y operadores. Más creadores de plataformas de software significan más entornos de TI. Más entornos significan más superficie. Y cuando se introducen agentes de codificación de IA autónomos, con su acceso a repositorios, su capacidad para generar código y ejecutar tareas sin una dirección humana continua, se crea un problema de seguridad que la mayoría de los marcos de gobernanza aún no han abordado. Si bien ya existen riesgos para la codificación asistida por IA, los agentes de codificación de IA representan un orden de riesgos categóricamente diferente.
Estos agentes pueden acceder a repositorios fuera de su alcance previsto, generar resultados detallados que sin darse cuenta muestran contexto sensible y escalar privilegios de maneras que ningún desarrollador humano lo haría, simplemente porque su función de optimización no incluye el modelo de amenaza que lleva consigo un ingeniero capacitado. Es lo que los profesionales llaman “la trifecta letal del riesgo del agente”, que se refiere al acceso a datos privados, la capacidad de comunicarse externamente y la exposición a un contexto no confiable mediante una inyección rápida. Esto ya está indicando cómo las empresas reguladas, que deben cumplir con estrictas directrices gubernamentales, están abordando el despliegue de la IA.
Únase al European Business Briefing
Los nuevos suscriptores de este trimestre participan en un sorteo para ganar un Rolex Submariner. Únase a más de 40.000 fundadores, inversores y ejecutivos que leen EBM todos los días.
Suscribir
El desafío de la gobernanza
¿Cómo se ve este desafío en la práctica? Tomemos el ejemplo de un importante banco europeo en catorce jurisdicciones, cada una con distintos requisitos de residencia de datos, implementaciones nacionales de NIS2 y expectativas regulatorias de la EBA, FINMA o PRA. O un contratista de defensa del Reino Unido que opera en redes que deben cumplir controles OFICIALES SENSIBLES, con obligaciones de la cadena de suministro que se extienden a los socios de nivel dos y tres que pueden estar ejecutando herramientas de codificación de IA en computadoras portátiles no administradas.
La pregunta para este tipo de organizaciones es: Si un agente de IA realizara una acción en su entorno de desarrollo hoy, ¿podría reconstruir exactamente qué hizo, por qué y quién la autorizó?
Para la mayoría de las organizaciones, la respuesta honesta es no. La razón es que la infraestructura para responder esa pregunta simplemente aún no existe en la mayoría de los entornos.
Humano en el circuito
Las empresas reguladas no pueden tener un ser humano revisando cada línea de código generado por IA, por lo que deben trasladar la supervisión al nivel de políticas y límites, no al nivel de tareas. Esto significa registros de auditoría que capturan cada acción del agente, restricciones de la cadena de herramientas que impiden que un asistente de codificación trabaje en una aplicación orientada al cliente, entornos de ejecución aislados donde el código generado por el agente se ejecuta de forma aislada antes de tocar algo en vivo.
La transición de ser humano en el circuito a ser humano en el circuito consiste en hacer que la rendición de cuentas sea escalable en entornos que abarquen continentes, niveles de clasificación y regímenes regulatorios simultáneamente. Ninguna plataforma centralizada puede servir a todos. Lo que el mercado necesita son líneas de base compartidas y, cada vez más, los marcos regulatorios, como DORA y NIS2, proporcionan exactamente eso.
El objetivo es que los marcos regulatorios establezcan estándares mínimos de auditabilidad, control de acceso y notificación de incidentes. Las empresas implementan sus propias infraestructuras y utilizan sus propias cadenas de herramientas, pero producen registros y controles compatibles con las expectativas regulatorias. Lo que ha faltado es la infraestructura operativa que haga que esas directivas sean ejecutables al ritmo que realmente avanza el desarrollo.
Cumplimiento que se mueve con el espacio de trabajo
Cuando una plantilla de espacio de trabajo define lo que un agente de IA puede y no puede hacer (a qué repositorios puede acceder, qué acciones puede tomar, qué comunicaciones externas están permitidas y qué límites debe respetar), esa gobernanza es estructural y no depende de que un desarrollador recuerde aplicar una lista de verificación de políticas antes de iniciar una sesión. Un espacio de trabajo que cumple con los requisitos de notificación de incidentes de DORA en una red corporativa estándar funciona de manera idéntica en un entorno de socios restringido, porque los controles están integrados en la plantilla, no en un documento de política separado que depende de la disciplina del desarrollador para su aplicación.
Este es el desafío de gobernanza que cierra la infraestructura a nivel de plataforma. Visibilidad y control centralizados sobre lo que hace cada agente de IA, sin necesidad de que los equipos de seguridad estén presentes en cada sesión. Seguimientos de auditoría completos desde la creación del espacio de trabajo, no reconstruidos después de un incidente. Límites de agentes que evitan que el radio de explosión de una única sesión comprometida se extienda en cascada por todo el entorno.
Tomar medidas
La infraestructura de gobernanza es un requisito actual y crítico. La población de creadores de plataformas ya se está expandiendo con herramientas de codificación de IA que ya se encuentran en flujos de trabajo de desarrollo, aprobadas o no. Ya se están poniendo a prueba agentes autónomos en equipos de ingeniería que aún no han resuelto la cuestión de la gobernanza. La ventana para salir adelante se está estrechando.
El punto de partida práctico es el mismo ya sea que la organización sea un departamento gubernamental del Reino Unido o un banco de nivel 1 en Frankfurt:
Mueva las cargas de trabajo de desarrollo de las máquinas locales en entornos de nube gobernados y autohospedados donde el código fuente, las credenciales y las acciones de los agentes nunca tocan un punto final que la organización no controla.
Gobierna cada llamada del modelo de IA y acción de los agentes con una capa de auditoría centralizada que registra, atribuye y hace observable lo que la IA está haciendo en el entorno de desarrollo antes de que los reguladores o los encargados de responder a incidentes hagan la pregunta.
Definir los límites de los agentes en la propia plataformano en documentos de políticas que se basan en la disciplina del desarrollador, de modo que lo que a un agente se le permite hacer es estructural.
La fábrica ya ha dado paso al marco y los agentes ya están operando. Los marcos regulatorios que regirán lo que suceda a continuación ya están vigentes. Lo que queda es construir la infraestructura que haga operativa la gobernanza antes de que la escala del desarrollo potenciado por la IA supere la capacidad de la organización para supervisarlo.