Las previsiones de Huawei sobre un futuro agente exponen una cuestión más profunda que la capacidad informática: ¿cómo pueden las instituciones garantizar que los sistemas autónomos conserven la autoridad legítima mientras aprenden, coordinan y actúan?, pregunta Vendan Ananda Kumararajah.
El informe 2025 Intelligent World 2035 de Huawei proyectó que nueve mil millones de personas podrían estar conectadas a 900 mil millones de agentes de IA para 2035. Un seguimiento de 2026 proyectó que el tráfico generado por agentes podría representar más del 90 por ciento del tráfico global de tokens para entonces. Estas son previsiones corporativas, no un censo del futuro. Pero hacen que sea difícil evitar una cuestión de gobernanza actual: si los sistemas autónomos se vuelven tan numerosos e interconectados, ¿quién sigue siendo responsable de la autoridad a través de la cual actúan?
Huawei caracteriza a los agentes como sistemas que perciben su entorno, razonan, toman decisiones, invocan herramientas e interactúan con personas en tiempo real. Sus informes piden mayor capacidad informática, conectividad, memoria y sistemas operativos diseñados para los agentes, al tiempo que identifican la seguridad y la privacidad como esenciales. Sin embargo, si bien la infraestructura puede ampliar la capacidad de acción de un agente, no puede por sí sola determinar cuándo esa acción es legítima.
La respuesta familiar es la supervisión humana. Sin embargo, ningún ser humano puede aprobar personalmente cada decisión en una red de agentes que actúan continuamente, a la velocidad de una máquina y a través de los límites organizacionales. Un supervisor nominal tampoco proporciona una rendición de cuentas significativa cuando el volumen y la velocidad de las decisiones lo dejan incapaz de comprender, intervenir o alterar el sistema. Por lo tanto, la supervisión debe diseñarse teniendo en cuenta las condiciones bajo las cuales un agente adquiere, ejerce y retiene autoridad.
Considere un agente autorizado para gestionar la cadena de suministro de un fabricante. Puede recopilar información, realizar pedidos y negociar con otros sistemas. La escasez le lleva a buscar un nuevo proveedor. El proveedor parece creíble, el precio es competitivo y el pedido es urgente. Pero, ¿qué sabe realmente el agente sobre la identidad del proveedor, la confiabilidad de sus datos, las condiciones laborales detrás de la oferta o las consecuencias de eludir un proceso de aprobación establecido?
Si varios agentes confían unos en evaluaciones confiables pero no verificadas de otros, una incertidumbre local puede convertirse en una decisión sistémica. Cada paso puede parecer útil de forma aislada mientras la red va más allá de su mandato legítimo. Un sistema técnicamente competente puede actuar sobre información débil, obsoleta o presentada selectivamente, y puede hacerlo a través de cadenas de delegación que oscurecen dónde residen realmente el juicio, la responsabilidad y la autoridad.
Se trata de un problema tanto de emergencia como de control: los agentes que interactúan entre sí pueden comportarse colectivamente de maneras que no eran evidentes en las reglas que gobiernan cada sistema individual. A medida que los agentes adquieren información, crean memorias, invocan herramientas y se coordinan con otros agentes, su comportamiento combinado no siempre puede inferirse de los permisos otorgados a cada uno durante el despliegue. Las circunstancias pueden cambiar más rápido de lo que se puede reescribir una regla fija. La información puede estar incompleta, distorsionada por incentivos o repetida hasta que una recomendación se confunda con conocimiento verificado. Un sistema puede ejecutar su tarea inmediata de manera efectiva mientras pierde de vista el propósito que hizo permisible esa tarea.
Por lo tanto, la transición de adquirir información a actuar de forma independiente merece un mayor análisis. ¿Qué procedencia –o evidencia del origen y confiabilidad de la información– tiene un agente de lo que dice saber? ¿Qué incertidumbres siguen sin resolverse? ¿Se ha convertido una recomendación en “conocimiento” simplemente porque varios agentes la repiten? ¿En qué momento el agente tiene derecho a gastar dinero, alterar un servicio, afectar a una persona o comprometer a una organización con un curso de acción? La gobernanza de la inteligencia debe continuar a través del paso del conocimiento a la acción –y a través de las consecuencias de esa acción.
Mi modelo A3, desarrollado como marco para gobernar sistemas adaptativos, trata esto como un cambio en el objeto básico de la gobernanza; en otras palabras, aquello de lo que la gobernanza debe preocuparse a medida que los sistemas aprenden y cambian. Sus tres elementos operan simultáneamente: Aram, o coherencia ética; Aanavam, distorsión sistémica endógena, es decir, distorsión que se desarrolla dentro del propio sistema; y Adhikaram, el albedrío legítimo que debe ganarse, permanece condicional y puede retirarse. En lugar de funcionar como una lista de verificación convencional, se condicionan mutuamente a medida que un sistema aprende, actúa y cambia.
El propósito ético debe compararse con lo que un sistema puede saber genuinamente y con las formas en que ese conocimiento puede distorsionarse. La autoridad para actuar debe reevaluarse a medida que esas condiciones cambien. En este sentido, la gobernanza no es simplemente un conjunto de limitaciones impuestas antes del despliegue o una investigación realizada después de una falla, sino un juicio continuo sobre si el sistema todavía tiene motivos suficientes para actuar.
Aanavam importa especialmente a escala. La distorsión puede desarrollarse dentro de un sistema exitoso sin un aviso malicioso o un ataque externo. Un objetivo de rendimiento puede empezar a sustituir el motivo por el que se implementó el sistema. La producción de un agente puede convertirse en la premisa incuestionable de otro. Un panel de control puede recompensar la finalización aparente y, al mismo tiempo, suprimir la evidencia de daño. A medida que aumenta el número de agentes y sus conexiones, estos efectos pueden agravarse sin que ningún agente se vuelva visiblemente “deshonesto”.
Adhikaram introduce una pregunta diferente a la de si un agente tiene permiso técnico para actuar: ¿todavía está justificado aquí su ejercicio de autoridad, dado lo que sabe, los riesgos involucrados, las personas afectadas y los propósitos a los que debe servir? Un agente puede tener la capacidad técnica para realizar un pedido pero carecer de motivos adecuados para utilizar esa facultad cuando la identidad de un proveedor es incierta. Es posible que sea necesario reducir su alcance permitido. Su acción puede requerir una corroboración independiente. O es posible que sea necesario escalar el asunto para tomar una decisión humana.
La agencia legítima puede ampliarse cuando la evidencia, las condiciones y el mandato lo justifican. También podrá contratarse o retirarse cuando dejen de cumplirse las condiciones que lo justificaron. Esto es diferente de un modelo de control de acceso estático. Trata la autoridad no como un permiso concedido una vez sino como un juicio institucional continuo.
A escala de máquina, esto requiere monitoreo continuo y puertas de legitimidad dentro de la arquitectura operativa: controles que determinan si un agente todavía tiene motivos suficientes para ejercer una autoridad particular. Las instituciones necesitan evidencia de lo que saben los agentes, lo que sigue siendo incierto, a qué herramientas y decisiones pueden recurrir, cómo sus acciones afectan a otros agentes y si los fundamentos de su autoridad siguen siendo válidos.
En términos prácticos, esto significa vincular la autoridad a la evidencia y las consecuencias: verificar la identidad del proveedor antes de ejercer la autoridad de contratación; exigir una corroboración independiente antes de asumir compromisos irreversibles o de alto valor; y limitar o suspender automáticamente los permisos cuando la procedencia se debilita, surgen conflictos o una acción podría afectar los derechos, la seguridad o los servicios esenciales. Las acciones con mayores consecuencias deberían enfrentar controles más estrictos y rutas de escalada claras.
Pero una puerta automatizada es tan legítima como el conocimiento y la autoridad gobernante detrás de ella. La institución debe seguir siendo responsable de cómo otorga mandatos, define umbrales de evidencia, asigna responsabilidades y decide cuándo se debe suspender la autoridad. La gobernanza no puede subcontratarse a un control automatizado simplemente porque el sistema subyacente esté automatizado.
La respuesta al fracaso también debe cambiar el sistema futuro. Bloquear una transacción o parchear una ruta puede contener un incidente. El cierre requiere saber por qué esa ruta estuvo disponible, qué supuestos fallaron, qué conocimiento faltaba y si las propias reglas o estructuras de autoridad de la institución necesitan cambiar. Ese aprendizaje debe ser absorbido por futuros permisos, monitoreo y gobernanza. De lo contrario, la red vuelve al servicio con la misma debilidad más profunda intacta.
Las previsiones de Huawei pueden resultar demasiado altas o demasiado bajas. Su importancia radica en la escala de la cuestión que hacen visible. Estamos construyendo sistemas capaces de comunicar, recordar, coordinar y actuar a una velocidad sin precedentes. Debemos construir una gobernanza capaz de determinar, antes y durante la acción consecuente, si un agente sabe lo suficiente, sigue siendo éticamente coherente y todavía posee la autoridad que se ha ganado, y reevaluar ese juicio después de que se conozcan sus efectos.

Vendan Ananda Kumararajah es un arquitecto de transformación y pensador de sistemas reconocido internacionalmente. Creador del Modelo A3, un marco cibernético de nuevo orden que une la ética, la conciencia de la distorsión y la agencia en la IA y la gobernanza, une la antigua filosofía tamil con la ciencia de sistemas contemporánea. Miembro del Chartered Management Institute y autor de Navigating Complexity and System Challenges: Foundations for the A3 Model (2025), Vendan está redefiniendo cómo la inteligencia, la gobernanza y la ética se interconectan en una era de tecnologías autónomas.
LEER MÁS: ¿Quién dejó salir a los bots? La inquietante verdad detrás de la IA deshonesta. Los informes recientes de que la IA se está volviendo deshonesta son alarmantes pero, según Vendan Ananda Kumararajah, ponen un enfoque engañoso en las máquinas en lugar de en las instituciones que les otorgan autoridad. A medida que los sistemas autónomos ganan más libertad para actuar, la solución a la IA deshonesta radica en decidir dónde comienza esa autoridad, dónde termina y cuándo debe retirarse.
¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.
Imagen principal: Pixabay / Pexels