Volker Türk tiene razón al exigir salvaguardias “de hierro fundido” para la IA avanzada, dice Vendan Ananda Kumararajah, pero la pregunta más difícil es si los reguladores pueden seguir siendo lo suficientemente independientes y conocedores cuando gran parte de la experiencia necesaria para comprender los sistemas fronterizos se encuentra dentro de las empresas que deben gobernar.
El jefe de derechos humanos de las Naciones Unidas, Volker Türk, ha pedido “garantías estrictas” en torno a la inteligencia artificial avanzada. Su advertencia es difícil de descartar.
Türk ha advertido que la IA avanzada podría representar una amenaza existencial para la humanidad. Ha pedido líneas rojas internacionales y una verificación independiente, al tiempo que advierte que el poder extraordinario sobre la IA se concentra cada vez más en manos de un pequeño número de empresas de tecnología.
La respuesta obvia es exigir una regulación más estricta. Eso es necesario, pero plantea una pregunta más difícil: ¿poseen las instituciones responsables de regular la IA avanzada suficiente conocimiento independiente para entender lo que están gobernando?
La cuestión se extiende cada vez más más allá de la competencia regulatoria y llega a depender de las empresas reguladas en cuanto al conocimiento técnico necesario para supervisarlas.
Las organizaciones que desarrollan los sistemas de IA más avanzados poseen concentraciones extraordinarias de experiencia técnica, infraestructura informática, datos propietarios y experiencia directa de cómo se comportan sus modelos. Los reguladores inevitablemente necesitan acceder a parte de ese conocimiento. Sin embargo, a medida que aumenta su dependencia de las empresas de inteligencia artificial de vanguardia, la relación entre experiencia y autoridad se vuelve más difícil de gestionar.
Un regulador puede poseer el poder legal para gobernar, mientras que la empresa que regula posee gran parte del conocimiento necesario para que esa gobernanza sea efectiva. Se trata de una asimetría inusual y podría convertirse en una de las vulnerabilidades centrales de la regulación avanzada de la IA.
Una norma puede ser jurídicamente sólida y aun así fracasar si la institución que la aplica no comprende suficientemente el sistema al que se aplica. Un organismo de control puede ser formalmente independiente y al mismo tiempo depender en gran medida de la industria regulada para comprender la tecnología. Un regulador puede exigir evaluaciones de seguridad mientras confía en que el desarrollador le explique qué se debe evaluar y cómo. Los gobiernos pueden establecer líneas rojas sin tener la capacidad técnica para reconocer rápidamente cuándo se han cruzado esas líneas.
Por lo tanto, el próximo desafío regulatorio consiste en mantener las condiciones bajo las cuales la autoridad sigue siendo legítima. Las instituciones que aplican las reglas deben conservar suficiente conocimiento e independencia para ejercer su autoridad de manera significativa.
En mi Modelo A3, describo la agencia legítima a través del principio de Adhikaram: autoridad cuyo ejercicio debe permanecer justificado, condicional y revocable.
Aplicado a la regulación, el poder legal por sí solo no determina si una institución sigue siendo apta para gobernar un sistema tecnológico que cambia rápidamente. La autoridad formal puede permanecer legalmente intacta, mientras que la legitimidad de su ejercicio depende de que la institución conserve suficiente conocimiento para comprender lo que está regulando.
Por lo tanto, los reguladores deben plantearse preguntas difíciles. ¿Poseen suficiente conocimiento de los sistemas que supervisan? ¿Pueden detectar cambios significativos en esos sistemas? ¿Pueden distinguir la tranquilidad de la evidencia? ¿Pueden cuestionar los supuestos técnicos hechos por las organizaciones que regulan? ¿Pueden reconocer cuando sus propios conocimientos se han quedado atrás? ¿Y puede el sistema de gobernanza responder cuando eso suceda?
Frontier AI hace que estas preguntas sean particularmente importantes porque no es un objeto estático de regulación. Los modelos se actualizan, su acceso a las herramientas puede ampliarse y pueden surgir nuevas capacidades de forma impredecible. Pueden aparecer nuevos comportamientos y usos después de que el sistema fue evaluado originalmente.
Por lo tanto, el regulador está gobernando una frontera de conocimiento en movimiento: tecnología cuyas capacidades y usos pueden seguir cambiando.
La regulación tradicional a menudo puede tolerar cierto retraso entre el cambio tecnológico y la respuesta institucional, pero la IA avanzada puede reducir drásticamente ese margen. Un sistema puede modificarse, ampliarse o conectarse a nuevas herramientas mucho más rápido de lo que los gobiernos pueden reescribir la legislación, establecer nuevos estándares o desarrollar conocimientos especializados.
Esto crea lo que yo llamaría un “retraso epistémico”: una brecha creciente entre la velocidad a la que se desarrolla la tecnología y la velocidad a la que los reguladores pueden adquirir el conocimiento necesario para gobernarla de manera efectiva.
Por lo tanto, la advertencia de Türk sobre la concentración del poder debe entenderse como algo más que una cuestión de competencia en el mercado. Si la capacidad técnica se concentra en un pequeño número de empresas, el conocimiento sobre cómo funcionan los sistemas más avanzados también puede concentrarse allí. Por lo tanto, la concentración de capacidades puede convertirse en concentración de conocimientos y, con ella, en concentración de poder práctico de gobernanza.
Si sólo un puñado de organizaciones posee la experiencia necesaria para comprender la IA de vanguardia, inevitablemente ayudarán a determinar cómo se describen los riesgos, qué mediciones se tratan como creíbles y qué intervenciones técnicas se consideran factibles. Su experiencia indispensable crea el problema de la gobernanza: la empresa que está siendo regulada puede convertirse gradualmente en parte del sistema de conocimientos del que depende el propio regulador.
Esa dependencia no equivale necesariamente a una captura regulatoria en el sentido convencional. No requiere corrupción ni una relación inadecuada entre el regulador y la industria. Puede surgir simplemente porque la tecnología es tan especializada que una supervisión significativa depende del conocimiento concentrado dentro de las empresas que la desarrollan.
Aquí es donde entra en juego la distinción entre experiencia y soberanía. Las empresas de tecnología deberían participar profundamente en la gobernanza de la IA: sus ingenieros e investigadores a menudo saben más sobre los sistemas fronterizos que cualquier persona ajena a ellos. Pero poseer un conocimiento técnico superior no debería darles a esas empresas un mayor derecho a decidir dónde deberían estar los límites del riesgo aceptable.
Al mismo tiempo, la independencia regulatoria no puede significar pretender que las instituciones externas ya poseen conocimientos que no tienen. La independencia genuina requiere desarrollar esa capacidad.
La gobernanza independiente requiere capacidad epistémica independiente: reguladores capaces de interrogar información técnica, reproducir evaluaciones importantes, cuestionar suposiciones y reconocer cuando su propia comprensión ya no es adecuada.
La competencia regulatoria también debe ser tratada como algo que puede cambiar. No se puede suponer automáticamente que una institución capaz de gobernar una generación de sistemas de IA posea el conocimiento necesario para gobernar la siguiente.
Un segundo concepto del modelo A3 ayuda a explicar por qué esto es importante. Utilizo Aanavam para describir la distorsión sistémica endógena: situaciones en las que un sistema se aleja de su propósito legítimo debido a las relaciones, incentivos y supuestos que operan dentro de él, más que porque un actor externo lo haya corrompido deliberadamente.
La dependencia del conocimiento de la industria puede crear este tipo de distorsión. Un regulador puede adoptar gradualmente el lenguaje y los supuestos de la industria porque se convierten en las principales herramientas a través de las cuales entiende la tecnología. Las cuestiones de seguridad pueden comenzar a reflejar lo que los desarrolladores pueden medir en lugar de lo que más le importa a la sociedad. La verificación puede convertirse en una cuestión de confirmar procedimientos en lugar de probar de forma independiente los supuestos subyacentes. Los reguladores pueden seguir confiando en su supervisión incluso cuando una mayor parte del conocimiento que respalda esa confianza se encuentra fuera de sus propias instituciones.
La dificultad es que nada de esto requiere mala fe. Cada institución involucrada puede comportarse responsablemente de acuerdo con su rol actual, mientras que el sistema en su conjunto deriva hacia una posición en la que la autoridad formal reside en el regulador, pero gran parte del conocimiento sustantivo necesario para ejercer esa autoridad reside en la industria regulada.
En ese punto, las salvaguardias más fuertes son insuficientes a menos que la institución responsable de hacerlas cumplir también pueda reconocer cuando su propio conocimiento se ha vuelto inadecuado.
Esto también cambia lo que entendemos por verificación independiente. Una institución externa no puede proporcionar una verificación genuina simplemente recibiendo evidencia de un desarrollador y confirmando que se han seguido los procedimientos requeridos. La independencia también requiere la capacidad de interrogar la evidencia, reproducir pruebas importantes y llegar a interpretaciones que no dependan enteramente del propio marco conceptual del desarrollador.
Türk tiene razón al exigir garantías sólidas. La garantía más importante puede ser una arquitectura de gobernanza que evite que el conocimiento necesario para regular la IA avanzada sea monopolizado por las organizaciones sujetas a esa regulación.
Eso requerirá una inversión sostenida en experiencia técnica pública, un acceso significativo a los sistemas y a la evidencia, una capacidad de evaluación genuinamente independiente y mecanismos para reconocer cuándo los propios reguladores se han quedado atrás con respecto a las tecnologías que supervisan.
También requerirá una comprensión diferente de la autoridad legítima.
Los poderes formales de un regulador pueden provenir del Parlamento, de un tratado u otra institución establecida. Sin embargo, en condiciones de rápido cambio tecnológico, la legitimidad del ejercicio de esos poderes no puede descansar únicamente en su fuente formal. La autoridad de gobierno debe ir acompañada de conocimientos y competencia suficientes para comprender lo que se está gobernando.
Si esa capacidad se deteriora, el sistema de gobernanza debe poder responder. Es posible que sea necesario cambiar la responsabilidad, que sea necesario profundizar la supervisión, que sea necesario limitar la autoridad y que sea necesario reconstituir las instituciones en torno a nuevos conocimientos.
Así es como se ve una gobernanza seria en condiciones de incertidumbre tecnológica. No se puede suponer que la capacidad para gobernar una tecnología altamente compleja permanezca constante mientras la tecnología misma cambia rápidamente.
La próxima lucha sobre la IA tendrá que ver con quién posee los modelos más poderosos y quién posee el conocimiento necesario para comprenderlos. Si ese conocimiento permanece concentrado dentro de un puñado de empresas, los gobiernos pueden encontrarse en una posición paradójica: poseer la autoridad legal para regular la IA y, al mismo tiempo, depender en gran medida de las organizaciones que regulan para comprender lo que requiere una regulación efectiva.
Esto deja una incómoda paradoja. A medida que la IA se vuelve más compleja desde el punto de vista técnico, puede resultar más necesaria una supervisión eficaz, mientras que los reguladores se vuelven simultáneamente más dependientes de las empresas cuyo poder intentan limitar.
El desafío es crear salvaguardias sólidas y al mismo tiempo garantizar que las instituciones encargadas de hacerlas cumplir conserven el conocimiento independiente necesario para comprender lo que están gobernando.
Vendan Ananda Kumararajah es un arquitecto de transformación y pensador de sistemas reconocido internacionalmente. Creador del Modelo A3, un marco cibernético de nuevo orden que une la ética, la conciencia de la distorsión y la agencia en la IA y la gobernanza, une la antigua filosofía tamil con la ciencia de sistemas contemporánea. Miembro del Chartered Management Institute y autor de Navigating Complexity and System Challenges: Foundations for the A3 Model (2025), Vendan está redefiniendo cómo la inteligencia, la gobernanza y la ética se interconectan en una era de tecnologías autónomas.
LEER MÁS: Dejar la gobernanza de la IA únicamente en manos de EE. UU. y China podría desencadenar un apocalipsis de la IA. La inteligencia artificial está siendo tratada cada vez más como una herramienta de poder geopolítico, lo que pone en riesgo un régimen de gobernanza global moldeado por los intereses de sus actores más fuertes: Estados Unidos y China. Eso podría reducir la gama de ideas necesarias para evitar futuros fallos catastróficos de la IA. Para evitar un apocalipsis de la IA, las naciones y organizaciones de todo el mundo deben poder contribuir con sus ideas y experiencia a la gobernanza de la IA, sostiene Vendan Ananda Kumararajah.
¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.
Imagen principal: wal_ 172619 / Pexels