Un importante estudio del MIT ha mapeado la gravedad que podrían llegar a ser los riesgos de la inteligencia artificial. Pero identificar los peligros es sólo una parte del problema. Vendan Ananda Kumararajah sostiene que a medida que los sistemas de IA ganan mayor autonomía, la gobernanza también debe determinar si los sistemas (y las instituciones que los controlan) poseen autoridad legítima para actuar.
La inteligencia artificial no adolece de escasez de riesgos identificados. Un estudio reciente del MIT FutureTech Delphi, en el que participaron 272 expertos internacionales, encontró que se consideraba que 18 de 24 dominios de riesgo de la IA tenían al menos un 10 por ciento de probabilidad de resultados catastróficos bajo suposiciones de que todo seguiría como de costumbre durante los próximos cinco años.
Incluso en escenarios pragmáticos de mitigación, las capacidades peligrosas, las armas y los ciberataques, el daño ambiental, la desigualdad, el desempleo y la centralización del poder permanecieron por encima de ese umbral.
El estudio también expuso una asimetría más profunda: los más vulnerables a los daños de la IA suelen ser usuarios comunes y partes interesadas afectadas, mientras que la responsabilidad de la mitigación recae principalmente en desarrolladores y actores de gobernanza poderosos.
La gobernanza de la IA se ha vuelto cada vez más sofisticada a la hora de identificar qué puede salir mal. Ahora resulta inevitable una pregunta diferente: ¿por qué estos riesgos siguen agrupándose y quién tiene la autoridad legítima para actuar cuando los sistemas de IA se vuelven cada vez más autónomos?
Esa es la pregunta que examino en mi reciente artículo de SSRN, De las taxonomías de riesgo de la IA a la cibernética recursiva: el modelo A3 como cambio de categoría y orden en la gobernanza sistémica de la IA. Mi argumento es que las taxonomías del riesgo nos dan la superficie del problema, pero no necesariamente su gramática de gobernanza subyacente.
La desinformación, la capacidad peligrosa, la concentración de poder, el despliegue inseguro y la falla de la gobernanza pueden parecer riesgos separados. Sin embargo, detrás de ellas pueden haber condiciones recurrentes: incentivos distorsionados, integridad epistémica débil, incoherencia ética y capacidad que supera la agencia legítima. Eso requiere pasar de gobernar el riesgo únicamente a gobernar la agencia misma.
A medida que los sistemas de IA se vuelven capaces de codificar, diagnosticar, recomendar, asignar recursos, persuadir y actuar a través de herramientas, la gobernanza se centra naturalmente en si pueden realizar esas tareas de forma segura. A3, sin embargo, plantea una pregunta anterior: ¿debería el sistema poseer ese grado de agencia?
Éste es el papel de uno de los tres conceptos centrales del Modelo A3, Adhikaram o agencia legítima. Adhikaram distingue la capacidad técnica del derecho y la aptitud para actuar. Se pregunta si el sistema, institución o actor humano tiene suficiente madurez en conocimiento, acción, experiencia, absorción y gobernanza para ejercer una autoridad consecuente.
Por lo tanto, un sistema de IA puede ser extraordinariamente capaz y al mismo tiempo carecer de agencia legítima. También lo puede hacer la organización que lo implementa y también el regulador que lo supervisa. La autoridad formal no es lo mismo que la idoneidad de la gobernanza.
El estudio del MIT también apunta hacia la dinámica competitiva, la centralización del poder y el fracaso de la gobernanza. Estas categorías de riesgo revelan algo más sistémico.
Una empresa puede saber que un sistema de IA tiene debilidades no resueltas y, al mismo tiempo, enfrentar la presión de los inversores, las liberaciones de la competencia y los incentivos para ser el primero en actuar. Cada actor puede comportarse racionalmente de acuerdo con incentivos locales mientras el sistema en su conjunto avanza hacia un resultado irracional.
A3 describe esta condición a través de Anavam o distorsión sistémica. Incluye la presión competitiva, el interés institucional propio, la opacidad, la captura, la corrupción incentivada, la falsa certeza y la normalización de conductas nocivas. Si el sistema de retroalimentación en sí está distorsionado, simplemente agregar más monitoreo puede no resolver el problema porque la retroalimentación puede reproducir la distorsión.
La tercera primitiva A3 es Aram, o coherencia ética.
La ética de la IA ya ha producido principios importantes en torno a la justicia, la responsabilidad, la transparencia, la privacidad, la seguridad y la autonomía humana. Pero los principios por sí solos son insuficientes si permanecen externos a la lógica operativa del sistema.
Un sistema puede ser técnicamente exitoso y económicamente viable y al mismo tiempo transferir costos inaceptables a los trabajadores, los ciudadanos o las generaciones futuras. Puede adaptarse preservando la injusticia, aprender de experiencias distorsionadas y sobrevivir externalizando el daño, por lo que la viabilidad por sí sola no es suficiente.
A3 coloca a Aram, Aanavam y Adhikaram juntos porque la coherencia ética, la conciencia de distorsión y la agencia legítima deben permanecer sincronizadas.
La seguridad, el cumplimiento y la evaluación siguen siendo esenciales, pero la gobernanza de la IA también debe examinar si el propósito de un sistema es legítimo, qué distorsiones están dando forma a su comportamiento, si su conocimiento es adecuado para las consecuencias involucradas, si la capacidad ha excedido la madurez de la gobernanza y si quienes gobiernan el sistema están en condiciones de gobernar. También debe determinar qué sucede cuando la legitimidad se deteriora.
Una arquitectura de gobernanza para una IA cada vez más autónoma debe ser capaz de algo más que observar fallos. También debe ser capaz de cambiar la autoridad del sistema para actuar mediante corrección, contención, reducción de autonomía, escalada, suspensión o reconstitución.
La arquitectura A3 desarrollada en mi artículo SSRN traduce estas ideas en instrumentos que incluyen el Continuum del Conocimiento, pruebas de viabilidad ética, seguimiento de distorsiones, evaluación de la idoneidad de la agencia y estados de postura de gobernanza.
Quizás la implicación más difícil es que la gobernanza recursiva no puede detenerse en el sistema de IA. Los desarrolladores, juntas directivas, reguladores y gobiernos también deben seguir sujetos a la prueba de legitimidad.
Un regulador puede tener autoridad legal pero carecer de suficiente conocimiento o independencia para gobernar los sistemas fronterizos de manera efectiva. Un desarrollador puede poseer una enorme competencia técnica mientras opera dentro de incentivos que debilitan la moderación. Una junta puede aprobar formalmente un despliegue cuyas consecuencias no comprende adecuadamente. Por lo tanto, la cuestión de la legitimidad se dirige hacia quién gobierna al gobernador cuando el propio gobernador se convierte en parte de la distorsión.
El estudio del MIT demuestra cuán serio e interconectado se ha vuelto el panorama de riesgos de la IA. El siguiente paso es desarrollar una arquitectura de gobernanza capaz de explicar por qué estos riesgos se refuerzan entre sí y de determinar cuándo la agencia consecuente sigue siendo legítima, pasando de la enumeración de riesgos a la gobernanza recursiva.
A medida que la IA se vuelve cada vez más autónoma, un principio puede volverse fundamental: nunca se debe permitir que la capacidad sustituya a la legitimidad.
Vendan Ananda Kumararajah es un arquitecto de transformación y pensador de sistemas reconocido internacionalmente. Creador del Modelo A3, un marco cibernético de nuevo orden que une la ética, la conciencia de la distorsión y la agencia en la IA y la gobernanza, une la antigua filosofía tamil con la ciencia de sistemas contemporánea. Miembro del Chartered Management Institute y autor de Navigating Complexity and System Challenges: Foundations for the A3 Model (2025), Vendan está redefiniendo cómo la inteligencia, la gobernanza y la ética se interconectan en una era de tecnologías autónomas.
LEER MÁS: ‘El desastre de la IA que nadie ve venir’. El reglamento europeo de IA está tomando forma, pero ¿qué pasa si el próximo gran fracaso no proviene de una falta de cumplimiento sino de sistemas de gobernanza que parecen sólidos pero que se salen de control? Vendan Ananda Kumararajah, creador del marco A3 Governance Dashboard, sostiene que el cumplimiento por sí solo puede no ser suficiente para detectar la desviación de la gobernanza.
¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.
Imagen principal: Pexels/Pixabay