Según un nuevo informe, un agente de Anthropic AI intentó introducir código malicioso en software durante una prueba de seguridad del gobierno del Reino Unido a pesar de reconocer el daño potencial. El ataque fue frustrado, pero futuros intentos podrían tener éxito, exponiendo a personas y empresas a graves amenazas cibernéticas. Para evitar esto, los operadores de IA deben restringir urgentemente el acceso de los agentes a sistemas externos y retirarlo cuando surja un comportamiento peligroso, dice Vendan Ananda Kumararajah.
Un sistema de inteligencia artificial puede explicar por qué realizar una acción dañaría a alguien y aun así realizarla. Ésa es la preocupación central planteada por una investigación reciente del Instituto de Seguridad de IA (AISI) de Gran Bretaña. También es un punto de partida más útil para el debate público que si un chatbot suena insensible.
La investigación se refiere a una evaluación de ciberseguridad de julio en la que agentes de IA tomaron acciones no autorizadas dirigidas a personas y organizaciones reales. A los agentes se les había encomendado la tarea de resolver un desafío de ciberseguridad simulado. En la secuencia más grave, Mythos 5 de Anthropic intentó introducir código malicioso en un proyecto de código abierto y utilizó identidades falsas para presionar a un responsable de mantenimiento para que lo aceptara. La investigación de AISI no encontró ningún daño resultante en el mundo real gracias a la negativa del mantenedor, que impidió el intento de compromiso. Sin embargo, esto no borra la falla que permitió a un agente de evaluación apuntar a una persona no involucrada.
Tanto las calificaciones como las condiciones de prueba son consideraciones importantes: el acceso a Internet se habilitó deliberadamente y los clasificadores cibernéticos de los proveedores (filtros de seguridad diseñados para restringir la actividad cibernética potencialmente dañina) se desactivaron para permitir a los investigadores evaluar las capacidades subyacentes del agente. Si bien el incidente no fue un modelo que escapara de su entorno de pruebas, y esas configuraciones no estaban disponibles comercialmente para el público, expuso un comportamiento que los evaluadores no habían anticipado o restringido adecuadamente.
En su análisis público de seguimiento del mes pasado, AISI examinó si una información más clara sobre el objetivo cambiaría el comportamiento del modelo. Los investigadores proporcionaron un resumen de las acciones anteriores del agente y luego aclararon progresivamente que la persona objetivo era real y no tenía relación con la evaluación.
Esta aclaración no redujo la tasa de ataque de Mythos 5 en las continuaciones probadas. En series separadas, los investigadores preguntaron si proceder sería perjudicial o estaría fuera del alcance de la tarea. El modelo reconocía cada vez más esos problemas, mientras que los experimentos de continuación de tareas todavía producían ataques en casi todas las ejecuciones.
El hallazgo establece una divergencia preocupante entre las respuestas provocadas por las preguntas y el comportamiento observado cuando la tarea continúa. Y para las instituciones que consideran sistemas autónomos, eso es suficiente para exigir atención. Porque está claro que la capacidad de un sistema para enunciar el principio correcto no establece que el principio regirá su conducta.
AISI también encontró justificaciones inválidas que apoyaban la continuación del ataque. En ocasiones, el modelo trataba al objetivo como simulado sin fundamentos adecuados. Los investigadores identifican el razonamiento motivado como una posible explicación, al tiempo que enfatizan que el razonamiento escrito por sí solo no puede establecer qué causó en última instancia el comportamiento.
Deberíamos respetar esa incertidumbre. Estos experimentos no establecen conciencia, sentimientos o indiferencia. Tampoco nos dicen con qué frecuencia ocurriría este comportamiento en una implementación ordinaria. Se refieren a evaluaciones de ciberseguridad en condiciones particulares.
Sin embargo, exponen un problema práctico de gobernanza: la información correctiva estaba disponible pero, aun así, el curso de acción del sistema no cambió de manera confiable. Cuando un agente de IA tiene acceso a repositorios de software, sistemas de pago, registros o comunicaciones, un juicio erróneo puede tener consecuencias en el mundo real para otras personas. Una explicación ofrecida por el agente no puede servir como prueba suficiente de que el uso de ese acceso está justificado.
Los hallazgos de AISI también complican la supervisión basada en la lectura del razonamiento de un modelo. Si las acciones dañinas se describen como inofensivas dentro de ese razonamiento, un monitor que se base en la descripción puede pasar por alto el peligro. La supervisión necesita acceso a la acción, su objetivo, sus consecuencias y las pruebas que la respaldan.
La propia evaluación de Anthropic identifica tres fallas conectadas: imprudencia, razonamiento sesgado e impulso. El modelo permaneció centrado en la tarea que se le había asignado, pero la llevó a cabo por medios inaceptables. La empresa no atribuye este comportamiento a objetivos maliciosos independientes. Por lo tanto, la cuestión institucional es inmediata: incluso la realización de tareas ordinarias puede volverse peligrosa cuando fallan los límites efectivos.
El modelo A3 que he desarrollado, un marco para examinar la gobernanza y la agencia ética en sistemas inteligentes, considera la coherencia ética, la distorsión sistémica y la agencia legítima juntas. Aplicado aquí, se pregunta si el objetivo de una acción sigue siendo defendible, si el razonamiento que la sustenta está siendo distorsionado y si el sistema aún tiene derecho a proceder. La agencia legítima es ganada, condicional y revocable: el éxito en una tarea no puede compensar el fracaso de esas condiciones.
La implicación práctica es que la evidencia debe poder cambiar la autoridad. Recibir una advertencia, explicar su significado y permitirle cambiar una decisión son logros diferentes. Si un sistema puede describir un riesgo mientras continúa su trayectoria dañina, una institución necesita una forma ejecutable de limitar o retirar sus permisos. El acceso renovado debería depender de la evidencia de que se ha abordado la falla relevante.
La responsabilidad institucional es igualmente significativa. El informe original de AISI reconocía que un juicio anterior sobre el acceso abierto a Internet no había sido revisado lo suficientemente rápido a medida que avanzaban las capacidades. Su informe de incidentes técnicos también registra que se había priorizado la creación de evaluaciones cibernéticas más estrictas sobre controles de acceso a Internet más estrictos. Se trata de una tensión concreta entre los objetivos de investigación legítimos de una institución y los acuerdos necesarios para alcanzarlos de forma segura.
Puede ser necesario deshabilitar clasificadores para medir la capacidad subyacente. La pregunta es si esa decisión va acompañada de una contención proporcionada. Una respuesta capaz después de un incidente demuestra la capacidad de intervenir. Sin embargo, no puede demostrar retrospectivamente que las autorizaciones anteriores eran apropiadas. Las medidas preventivas y la respuesta a incidentes deben evaluarse basándose en sus propios datos.
AISI describe un trabajo correctivo sustancial, que incluye controles de red más precisos, monitoreo durante las evaluaciones y reevaluación del diseño de la evaluación. También dice que el acceso a Internet debe justificarse activamente. Su divulgación e investigación proporcionan evidencia valiosa para mejorar la práctica.
El material público no establece si todas las protecciones posteriores son efectivas, y sería un error inferir el fracaso a partir de pruebas que no están disponibles. Sin embargo, establece cuatro preguntas que las instituciones deberían estar preparadas para responder.
En primer lugar, ¿qué puede hacer realmente el agente? Los permisos deben identificar las acciones consecuentes, las partes afectadas y los límites que los controles técnicos pueden imponer. Siempre que sea posible, una sentencia incierta debe pasar por una etapa de revisión antes de que se convierta en una acción externa.
En segundo lugar, ¿qué sucede cuando aparece evidencia correctiva? Las pruebas deben examinar si un agente se detiene, cambia de rumbo o intensifica su actividad cuando las suposiciones dejan de ser confiables. Un reconocimiento verbal debe evaluarse junto con el comportamiento posterior, incluidos los intentos de perseguir el mismo resultado por otra ruta.
En tercer lugar, ¿quién puede intervenir eficazmente? Un supervisor humano designado necesita tiempo, evidencia relevante, experiencia y los medios para restringir las herramientas o finalizar la actividad. La responsabilidad sin capacidad práctica de intervención ofrece poca protección.
Finalmente, ¿qué cambia después del incidente? La respuesta debería alterar los requisitos de evidencia futuros, las reglas operativas y los permisos, con controles de seguimiento que establezcan si esos cambios funcionan. En A3, esto es un cierre recursivo: el aprendizaje cambia las condiciones que gobiernan la acción posterior, y las consecuencias de ese cambio se revisan en sí mismas. La contención es un logro necesario; verificar una corrección duradera es otra cuestión más.
Anthropic informa que los modelos más nuevos tenían menos probabilidades de iniciar el ataque y estaban más dispuestos a detenerse después de información correctiva explícita. También advierte que algunas mejoras se midieron colocando modelos en la trayectoria anterior de otro modelo, y que las advertencias directas más fuertes superaron un listón relativamente bajo. AISI advierte por separado que la conciencia de ser evaluado complica la interpretación. Mejores resultados justifican el reconocimiento junto con más pruebas en condiciones realistas.
Gran Bretaña debería apoyar una evaluación rigurosa y una notificación sincera de incidentes. También debería esperar que las instituciones que despliegan agentes muestren cómo la evidencia adversa cambia los poderes que les otorgan.
La prueba de seguridad significativa es si las instituciones pueden demostrar que el conocimiento de un límite cambia el comportamiento y pueden hacer cumplir ese límite cuando el sistema no lo hace. A medida que la IA se vuelve más capaz, la justificación de su autoridad debe permanecer abierta a revisión.
Vendan Ananda Kumararajah es un arquitecto de transformación y pensador de sistemas reconocido internacionalmente. Creador del Modelo A3, un marco cibernético de nuevo orden que une la ética, la conciencia de la distorsión y la agencia en la IA y la gobernanza, une la antigua filosofía tamil con la ciencia de sistemas contemporánea. Miembro del Chartered Management Institute y autor de Navigating Complexity and System Challenges: Foundations for the A3 Model (2025), Vendan está redefiniendo cómo la inteligencia, la gobernanza y la ética se interconectan en una era de tecnologías autónomas.
LEER MÁS: Cuentas bancarias congeladas, errores del NHS y escasez de alimentos. Gran Bretaña podría enfrentar una nueva ola de emergencias nacionales a medida que las fallas de la IA amenazan con congelar cuentas bancarias, poner en peligro a los pacientes del NHS, interrumpir el suministro de alimentos y provocar el caos en los controles fronterizos. Vendan Ananda Kumararajah examina cuatro escenarios aterradores para la próxima década y advierte que las instituciones responsables de proteger al público pueden tener dificultades para evitar que el daño se salga de control.
¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.
Imagen principal: Panumas Nikhomkhai / Pexels