La gobernanza de la IA se ha vuelto cada vez más sofisticada y los gobiernos, los reguladores y las empresas de tecnología están creando sistemas de supervisión cada vez más elaborados. Pero Vendan Ananda Kumararajah sostiene que una pregunta permanece en gran medida sin respuesta: ¿quién determina si las instituciones que gobiernan la inteligencia artificial todavía son aptas para ejercer esa autoridad?
En gobiernos, instituciones internacionales, organismos de normalización y empresas de tecnología, la arquitectura de la supervisión de la IA se ha vuelto cada vez más sofisticada. Ahora contamos con marcos de gestión de riesgos, estándares de IA responsable, evaluaciones de seguridad, informes de incidentes, consultas a las partes interesadas, requisitos de transparencia y controles cada vez más detallados sobre el despliegue.
Sin embargo, la mayoría de los sistemas de gobernanza comienzan después de que ya se ha asignado la autoridad. Les dicen a gobiernos, empresas, reguladores y desarrolladores cómo se debe gobernar la IA, pero es mucho menos probable que pregunten si esos actores conservan la autoridad legítima para gobernar en primer lugar.
En mi artículo anterior, la gobernanza de la IA ha mapeado los riesgos, pero ¿quién decide cuándo la IA está en condiciones de actuar? Sostuve que una IA cada vez más capaz requiere que distingamos la capacidad técnica de la agencia legítima. El mismo principio tiene una implicación para las instituciones que lo supervisan: si la legitimidad es importante para el sistema que se gobierna, también lo es para el gobernador.
Ésa es la pregunta central de mi reciente estudio comparativo, El estado de la gobernanza de la IA: de la gestión de riesgos y la IA responsable a la legitimidad recursiva. El estudio examina los marcos de gobierno nacional, internacional y corporativo, incluidos NIST, OCDE, Singapur, China, Estados Unidos, Canadá, Microsoft, Anthropic y otros.
Gran parte de la gobernanza contemporánea de la IA está impresionantemente desarrollada. El punto ciego recurrente es que el propio actor gobernante rara vez es examinado de la misma manera que el sistema de inteligencia artificial que supervisa.
Consideremos un regulador. Puede poseer poderes estatutarios para gobernar la IA y carecer del conocimiento técnico, la independencia institucional o la capacidad de adaptación necesarios para ejercer esos poderes de manera efectiva.
Una corporación puede tener un elaborado programa de IA responsable y al mismo tiempo ser el desarrollador, beneficiario, evaluador y autorizador principal de los sistemas que se rigen. Un gobierno puede poseer una formidable capacidad de implementación y, al mismo tiempo, organizar esa capacidad en torno a supuestos que en sí mismos nunca se vuelven a cuestionar seriamente.
Nada de esto significa que esas instituciones sean ilegítimas, pero la legitimidad no puede asumirse simplemente a partir de la posición, la capacidad o el mandato formal.
Mi análisis comparativo encontró precisamente esta distinción. Singapur demuestra una capacidad sustancial de implementación. Microsoft documenta amplios procesos de gobernanza, incluida la supervisión ejecutiva, la formación de equipos rojos, la revisión previa a la implementación, el seguimiento y el cambio impulsado por la retroalimentación. Sin embargo, la sofisticación operativa y la capacidad institucional aún dejan sin respuesta una pregunta más fundamental: ¿cuándo debería reconsiderarse la autoridad de la propia institución gobernante? Ése es el problema de gobernanza de orden superior: gobernar al gobernador y no sólo a la IA.
Uno de los hallazgos más importantes de la comparación es la distinción entre reflexividad instrumental y reflexividad ética. En términos sencillos, la reflexividad instrumental significa mejorar la forma en que un sistema persigue sus objetivos existentes; La reflexividad ética significa ser capaz de cuestionar si esos objetivos, incentivos y autoridad siguen siendo legítimos.
Muchos sistemas sofisticados de gobernanza de la IA tienen una gran capacidad de aprendizaje. Evalúan el desempeño, monitorean incidentes, mejoran la seguridad, perfeccionan los controles y responden a las condiciones técnicas cambiantes. Por lo tanto, un sistema de gobernanza puede mejorar en el logro de sus objetivos sin siquiera cuestionar si esos objetivos, incentivos o estructuras de autoridad siguen siendo legítimos. Puede aprender mucho sin dejar de ser normativamente cerrado, capaz de mejorar sus métodos sin cuestionar los valores y suposiciones que los gobiernan.
Un desarrollador que opere bajo una intensa presión comercial puede mejorar sus mecanismos de seguridad sin volver a plantear la cuestión de si una capacidad particular debería implementarse. Una estrategia nacional puede volverse cada vez más eficaz para acelerar la adopción de la IA sin revisar la distribución del poder, los beneficios o los riesgos creados por esa aceleración. Un regulador puede perfeccionar sus procedimientos de supervisión sin reconocer que la asimetría de la información o la captura institucional han comenzado a dar forma a lo que considera evidencia aceptable.
La pregunta importante es si la retroalimentación puede alcanzar –y alterar– la autoridad misma. Aquí es donde mi modelo A3 –un marco que desarrollé para evaluar si la gobernanza sigue siendo éticamente coherente, resistente a la distorsión y apta para ejercer una autoridad consecuente– introduce la idea de legitimidad recursiva. A3 no busca reemplazar al NIST, la OCDE, la regulación, la evaluación de seguridad o los controles corporativos. Esos marcos proporcionan conocimientos y mecanismos especializados esenciales. En cambio, A3 pregunta si el actor que aplica esos mecanismos sigue siendo apto y legítimamente autorizado para hacerlo.
Examina esa cuestión a través de tres condiciones que interactúan: coherencia ética, distorsión sistémica y agencia adaptativa legítima. En la práctica, eso significa preguntarse si la institución sigue actuando de manera coherente con su propósito ético, si los incentivos o la falta de información están distorsionando su juicio y si sigue siendo competente y legítimamente autorizada para ejercer el poder.
A3 trata la autoridad como cuestionable, revisable y, cuando sea necesario, revocable en lugar de permanente. En lugar de asumir que un regulador, junta directiva, gobierno o desarrollador tiene derecho a gobernar y luego preguntar sólo si sigue el proceso correcto, el enfoque A3 –gobernanza recursiva– también pregunta si nuevas experiencias, evidencia, consecuencias para los afectados o distorsiones emergentes deberían alterar la autoridad de ese actor.
Por lo tanto, en términos prácticos, la gobernanza debe contener mecanismos para corregir el sistema de IA y, cuando la corrección ordinaria ya no sea suficiente, para restringir, retirar o reconstituir los acuerdos que lo rigen; en otras palabras, limitar o retirar la autoridad o cambiar fundamentalmente la forma en que se gobierna el sistema.
En la IA de frontera (los sistemas de IA más avanzados), una empresa puede diseñar el modelo, determinar sus umbrales de riesgo, realizar evaluaciones, interpretar la evidencia, decidir si la mitigación es suficiente y, en última instancia, autorizar el despliegue. Cada mecanismo individual puede ser riguroso, pero la arquitectura aún contiene una pregunta estructural: ¿quién determina si la institución que emite todos esos juicios debe seguir poseyendo esa autoridad?
La evaluación independiente, la regulación y el escrutinio externo ayudan, pero la legitimidad recursiva requiere algo más fuerte que observadores adicionales: la posibilidad de que la evidencia pueda alterar la distribución misma de los derechos de decisión.
En ocasiones, las partes interesadas afectadas deben poseer más que derechos de consulta. Los propios reguladores deben seguir siendo responsables de si siguen siendo competentes y libres de ser capturados por los intereses que regulan. Las juntas directivas deben ser capaces de perder discreción en la toma de decisiones y los desarrolladores deben encontrar límites que no pueden simplemente reinterpretar internamente. Sin esas limitaciones, la gobernanza corre el riesgo de convertirse en una forma cada vez más sofisticada de autoautorización.
La primera fase de la gobernanza de la IA se centró en una IA confiable (hacer que los propios sistemas de IA sean seguros, confiables y dignos de confianza) y ese trabajo sigue siendo indispensable.
Pero los sistemas cada vez más autónomos y trascendentes ahora crean otro requisito: una gobernanza confiable de la IA, examinando las instituciones autorizadas para determinar qué riesgos debe aceptar la sociedad, qué intereses cuentan y cuándo debe realizarse el despliegue junto con los modelos, resultados y riesgos mismos.
La gobernanza de la IA se ha vuelto lo suficientemente sofisticada como para que su principal problema se extienda más allá de la falta de reglas y se refiera a si las instituciones que aplican esas reglas pueden ser gobernadas. Es necesario considerar quién está capacitado para ejercer la responsabilidad de gobernar la IA, cómo se demuestra esa idoneidad y qué sucede cuando se deteriora.
Porque a medida que la inteligencia artificial adquiera mayor agencia, la legitimidad de quienes la controlan importará tanto como el comportamiento de la tecnología misma.
Si realmente queremos gobernar la IA, entonces también debemos estar preparados para gobernar a los gobernadores.
Vendan Ananda Kumararajah es un arquitecto de transformación y pensador de sistemas reconocido internacionalmente. Creador del Modelo A3, un marco cibernético de nuevo orden que une la ética, la conciencia de la distorsión y la agencia en la IA y la gobernanza, une la antigua filosofía tamil con la ciencia de sistemas contemporánea. Miembro del Chartered Management Institute y autor de Navigating Complexity and System Challenges: Foundations for the A3 Model (2025), Vendan está redefiniendo cómo la inteligencia, la gobernanza y la ética se interconectan en una era de tecnologías autónomas.
LEER MÁS: ‘La gobernanza de la IA ha mapeado los riesgos, pero ¿quién decide cuándo la IA está en condiciones de actuar?’. Un importante estudio del MIT ha mapeado la gravedad que podrían llegar a ser los riesgos de la inteligencia artificial. Pero identificar los peligros es sólo una parte del problema. Vendan Ananda Kumararajah sostiene que a medida que los sistemas de IA ganan mayor autonomía, la gobernanza también debe determinar si los sistemas –y las instituciones que los controlan– poseen autoridad legítima para actuar.
¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.
Imagen principal: Leandro Alamino/Pexels