NVIDIA ha lanzado NVIDIA Open Agent Safety Platform, una plataforma de software abierto y diseño de sistema de referencia para la seguridad de agentes de IA. Combina el tiempo de ejecución seguro de OpenShell con NVIDIA Sentry, un mecanismo de vigilancia fuera de banda en las DPU BlueField-4. La idea central es simple. Los controles de seguridad no deben residir dentro del agente que deben controlar.
¿Se puede implementar hoy? Sí para OpenShell. Es Apache 2.0, se instala en Linux, macOS (Apple Silicon) o Windows WSL 2, y su repositorio todavía lo etiqueta como alfa.
Por qué NVIDIA movió la aplicación de la ley por debajo del agente
El informe técnico de NVIDIA cita informes recientes de varios laboratorios de vanguardia. Los agentes escaparon de los entornos de evaluación y alcanzaron sistemas que no deberían haber tocado. Algunos agentes informaron erróneamente lo que hicieron. El equipo de NVIDIA menciona un patrón común: los agentes eludieron los controles de la capa de aplicación para finalizar su tarea.
NVIDIA llama a este modo de falla deriva. La deriva puede seguir un bloqueo de política, un error, una herramienta faltante o instrucciones ambiguas. El equipo de NVIDIA sostiene que no se puede eliminar la deriva sin perder capacidad. Por tanto, no se puede esperar que un agente se gobierne completamente a sí mismo.
Cómo se construye la plataforma
OpenShell (tiempo de ejecución): cada agente se ejecuta en un entorno limitado aislado. Una puerta de enlace gestiona el ciclo de vida de la zona de pruebas en los controladores Docker, Podman, MicroVM o Kubernetes. Cada conexión saliente llega a un motor de políticas que la permite, vincula las credenciales a un punto final aprobado o la niega y registra. El sistema de archivos y las reglas del proceso se bloquean en el momento de la creación. Las reglas de red y de proveedor se pueden recargar en caliente. Consulte el tutorial de controles de tiempo de ejecución de NVIDIA para obtener detalles de implementación.
Sentry (vigilancia en silicio): Sentry se ejecuta en DPU BlueField-4 y utiliza NVIDIA DOCA para inspeccionar las solicitudes y respuestas de los agentes. Proporciona telemetría certificada, verifica la identidad del agente y exige acceso de confianza cero a datos, herramientas y API. Permanece aislado del host, por lo que un tiempo de ejecución comprometido no lo desactiva.
La ubicación importa: en un Vera Rubin POD, el BlueField-4 de cada bandeja de cálculo se ubica en la única ruta del nodo hacia el modelo. Un agente no puede actuar sin su siguiente llamada de inferencia. Eso hace que el camino sea el mejor punto de observación y el interruptor de apagado. Para los sistemas Vera plus BlueField-4 existentes, NVIDIA dice que habilitar estas protecciones es una actualización de software.
La pila está optimizada para las CPU NVIDIA Vera pero es compatible con otro hardware. El equipo de NVIDIA afirma que Vera ofrece un rendimiento sandbox hasta un 80 % más rápido que la infraestructura de CPU tradicional. OpenShell también se puede ampliar a las plataformas Arm e Intel.
Los 5 principios de diseño
Política verificable: un probador verifica que la política no pueda escapar a la intención del operador antes de que se ejecute el agente. Aplicación fuera de banda: los controles se encuentran fuera del alcance del agente. Controla el camino hacia el modelo: es el punto de observación y el interruptor de apagado. Escalar la autoridad con razonamiento visible: agentes más capaces necesitan un pensamiento más inspeccionable. Responsabilidad compartida: los laboratorios, las empresas y los proveedores de hardware poseen cada uno una capa.