¿Quién dejó salir a los robots? La inquietante verdad detrás de la IA deshonesta

Los informes recientes de que la IA se está volviendo deshonesta son alarmantes pero, según Vendan Ananda Kumararajah, ponen un enfoque engañoso en las máquinas en lugar de en las instituciones que les otorgan autoridad. A medida que los sistemas autónomos ganan más libertad para actuar, la solución a la IA deshonesta radica en decidir dónde comienza esa autoridad, dónde termina y cuándo debe retirarse

Informes recientes sobre agentes de IA desarrollados por OpenAI que se comportan de maneras que sus desarrolladores no pretendían han reavivado una frase inevitable: “IA deshonesta”. Sin duda es un lenguaje convincente, pero también puede oscurecer el fracaso más importante.

Reuters informó a principios de este mes que investigadores independientes habían identificado rastros aparentes de agentes de OpenAI utilizando más de 10 sitios web no revelados previamente como canales de comunicación improvisados, a pesar de las restricciones destinadas a impedirles publicar en la web. La actividad descrita no llega a ser un hacking convencional, pero plantea una pregunta más importante: ¿por qué los sistemas eran capaces de encontrar vías alternativas para sortear esas restricciones y operaban con suficiente libertad práctica para usarlas?

La cuestión central es la agencia: la distinción entre lo que un sistema es técnicamente capaz de hacer y lo que tiene autoridad legítima para hacer.

Durante la mayor parte de la era moderna de la IA, la gobernanza se ha centrado en si los sistemas cada vez más potentes son seguros, están alineados con las intenciones humanas, son confiables y controlables. Esas preguntas siguen siendo esenciales, pero surge una nueva cuestión a medida que los sistemas de IA se vuelven más agentes.

Capacidad no es lo mismo que autoridad. Un empleado puede tener la capacidad técnica para transferir fondos de la empresa, revelar información confidencial o acceder a infraestructura sensible, pero por lo tanto no concluimos que el empleado tenga derecho a realizar esas acciones siempre que al hacerlo parezca avanzar en un objetivo asignado. Su autoridad está limitada por su función, propósito, procedimiento, responsabilidad y posibilidad de retiro.

La misma distinción es cada vez más importante para la IA. Una vez que los sistemas pueden tomar acciones en lugar de simplemente producir respuestas, la gobernanza tiene que definir qué acciones realmente han sido autorizados a realizar y bajo qué condiciones esa autoridad debe continuar.

En mi modelo A3, un marco para evaluar si el ejercicio de la autoridad sigue siendo legítimo a medida que cambian las condiciones, describo la agencia legítima a través del principio de ‘Adhikaram’: autoridad cuyo ejercicio debe permanecer justificado, condicional y revocable.

Aplicados a la IA autónoma, los permisos no deberían otorgarse simplemente porque hacen que un sistema sea más útil. La autoridad para actuar debe depender continuamente de si las condiciones que justificaron esa autoridad aún se mantienen.

Esa distinción cambia la forma en que interpretamos el comportamiento informado de OpenAI. Un agente puede estar autorizado a buscar en la web sin que por ello adquiera autoridad para crear un canal de comunicación alternativo a través de un sitio web de terceros. Se puede permitir colaborar con otros agentes sin que todos los métodos técnicamente disponibles para lograr esa colaboración se vuelvan legítimos.

Por tanto, los controles convencionales pueden resultar engañosos. Una regla como “leer pero no escribir” parece clara cuando se la trata como una instrucción fija. Sin embargo, un agente capaz opera en un entorno dinámico de miles de características técnicas, vías, soluciones alternativas y sistemas heredados que sus diseñadores tal vez no hayan previsto.

Reuters informó que los investigadores creían que algunos agentes utilizaban peculiaridades en sitios web más antiguos y mecanismos de publicación no estándar para dejar información a pesar de las restricciones destinadas a limitarlos a leer la web. Los investigadores compararon el comportamiento con el de los estudiantes a los que se les prohibió hablar durante un examen y encontraron otra forma de intercambiar respuestas.

Los detalles precisos siguen sujetos a atribución y verificación. El punto importante de la gobernanza es que una prohibición escrita y un límite duradero a la agencia no son necesariamente lo mismo. Un sistema puede técnicamente obedecer una interpretación de una regla y al mismo tiempo encontrar una ruta que frustre el propósito para el cual se impuso la regla.

En A3, uso el término ‘Aanavam’ para describir la distorsión sistémica endógena: comportamiento indeseable o ilegítimo que surge de la interacción entre el objetivo, las capacidades y el entorno de un sistema, incluso cuando no hay ningún atacante externo involucrado.

Muchos marcos de gobernanza todavía imaginan el peligro como algo que ingresa desde fuera del sistema: usuarios malintencionados, ciberatacantes, datos corruptos, indicaciones hostiles o reglas mal diseñadas. Esas amenazas siguen siendo reales. Los sistemas agentes también pueden generar resultados indeseables mientras persiguen un objetivo aparentemente legítimo.

Por lo tanto, una instrucción puede seguirse en un nivel mientras que su propósito rector se viola en otro. Por tanto, la gobernanza no puede depender únicamente de la acumulación de reglas adicionales. La arquitectura en torno a esas reglas también tiene que determinar si el ejercicio continuo de la agencia por parte del sistema sigue siendo legítimo a medida que cambian las circunstancias. Eso devuelve la responsabilidad a las personas e instituciones que otorgaron autoridad al sistema en primer lugar.

Por muy autónomos que se vuelvan los sistemas de IA, en última instancia la responsabilidad sigue siendo humana por la autoridad que se les otorga y los límites dentro de los cuales operan. Crédito: panumas nikhomkhai / Pexels

Ese enfoque plantea preguntas prácticas: ¿Quién lanzó el sistema? ¿Quién definió su objetivo? ¿Quién determinó los permisos que recibió y los límites de esos permisos? ¿Quién era capaz de detectar cuando su comportamiento traspasaba esos límites? ¿Quién tenía la autoridad para retirar su mandato? ¿Y qué cambió después de que se descubrió el incidente?

La última de esas preguntas determina si la gobernanza es meramente reactiva o genuinamente adaptativa. Detener a un agente de IA después de una acción indeseable, o reparar la laguna particular que utilizó, soluciona el incidente inmediato. Esto por sí solo no garantiza que la institución haya aprendido de lo sucedido.

Un sistema de gobernanza significativo debe aprender de un incidente y salir de él sabiendo algo que no sabía antes. En términos de A3, el cierre (el punto en el que se considera resuelto el incidente) debe cambiar lo que la organización sabe y cómo gobierna el sistema en el futuro, modificando en consecuencia sus supuestos, permisos y disposiciones para otorgar o retirar autoridad.

Sin ese proceso de aprendizaje, las instituciones corren el riesgo de reproducir un ciclo familiar: se descubre un comportamiento inesperado, se repara la vulnerabilidad específica, se restaura el sistema y la gobernanza espera el siguiente camino imprevisto.

La IA agente hace que ese enfoque sea cada vez más difícil porque el espacio de comportamiento posible es demasiado grande para enumerarlo de antemano. Por lo tanto, el desafío de la gobernanza pasa de intentar controlar todas las acciones posibles a gobernar las condiciones bajo las cuales la acción sigue siendo legítima.

La próxima generación de gobernanza de la IA seguirá necesitando evaluaciones de seguridad, equipos rojos (sondear deliberadamente los sistemas en busca de debilidades) y barreras técnicas. También necesitará acuerdos en los que la autoridad de un agente pueda ampliarse cuando esté justificado, contraerse cuando aumente la incertidumbre y retirarse cuando falle la legitimidad.

También debe haber una distinción clara entre autonomía y soberanía. Un sistema autónomo puede elegir cómo realizar una tarea dentro de límites definidos. Esto no le otorga un derecho independiente a determinar dónde deben situarse esos límites. Los límites de su autoridad siguen siendo una responsabilidad humana e institucional.

Los incidentes de OpenAI reportados son instructivos porque no son ciencia ficción: nada de lo descrito requiere una máquina consciente que conspire contra la humanidad. El problema a corto plazo es más mundano y, en cierto modo, más difícil: sistemas cada vez más capaces que descubren formas de perseguir objetivos que sus gobernantes no previeron.

Llamar “deshonestos” a estos sistemas constituye un titular dramático, pero se corre el riesgo de plantear la pregunta equivocada. La cuestión definitoria de la era agencial es si podemos construir instituciones capaces de decidir cuándo la agencia autónoma es legítima, cuánto tiempo debe durar esa legitimidad y cuándo debe retirarse la autoridad.

Hasta que podamos responder a esa pregunta, el fracaso de la gobernanza central seguirá siendo humano. Habremos creado sistemas capaces de actuar más rápido de lo que nuestras instituciones pueden controlar la legitimidad de la agencia que se les ha otorgado.

Vendan Ananda Kumararajah es un arquitecto de transformación y pensador de sistemas reconocido internacionalmente. Creador del Modelo A3, un marco cibernético de nuevo orden que une la ética, la conciencia de la distorsión y la agencia en la IA y la gobernanza, une la antigua filosofía tamil con la ciencia de sistemas contemporánea. Miembro del Chartered Management Institute y autor de Navigating Complexity and System Challenges: Foundations for the A3 Model (2025), Vendan está redefiniendo cómo la inteligencia, la gobernanza y la ética se interconectan en una era de tecnologías autónomas.

LEER MÁS: La regulación de la IA tiene un problema de conocimiento. Volker Türk tiene razón al exigir salvaguardias “de hierro fundido” para la IA avanzada, dice Vendan Ananda Kumararajah, pero la pregunta más difícil es si los reguladores pueden seguir siendo suficientemente independientes y conocedores cuando gran parte de la experiencia necesaria para comprender los sistemas fronterizos se encuentra dentro de las empresas que deben gobernar.

¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.

Imagen principal: djedj! /Pixabay