Explorando instituciones para la gobernanza global de la IA

Un nuevo documento técnico investiga modelos y funciones de instituciones internacionales que podrían ayudar a gestionar oportunidades y mitigar los riesgos de la IA avanzada.

La creciente conciencia sobre el impacto global de la inteligencia artificial (IA) avanzada ha inspirado debates públicos sobre la necesidad de estructuras de gobernanza internacional para ayudar a gestionar las oportunidades y mitigar los riesgos involucrados.

Muchas discusiones se han basado en analogías con la OACI (Organización de Aviación Civil Internacional) en aviación civil; CERN (Organización Europea para la Investigación Nuclear) en física de partículas; OIEA (Agencia Internacional de Energía Atómica) en tecnología nuclear; y organizaciones intergubernamentales y de múltiples partes interesadas en muchos otros ámbitos. Y, sin embargo, si bien las analogías pueden ser un comienzo útil, las tecnologías que surjan de la IA serán diferentes a la aviación, la física de partículas o la tecnología nuclear.

Para tener éxito con la gobernanza de la IA, debemos comprender mejor:

  1. Qué beneficios y riesgos específicos debemos gestionar a nivel internacional.
  2. Qué funciones de gobernanza requieren esos beneficios y riesgos.
  3. Qué organizaciones pueden proporcionar mejor esas funciones.

Nuestro último artículocon colaboradores de la Universidad de Oxford, la Universidad de Montreal, la Universidad de Toronto, la Universidad de Columbia, la Universidad de Harvard, la Universidad de Stanford y OpenAI, aborda estas preguntas e investiga cómo las instituciones internacionales podrían ayudar a gestionar el impacto global del desarrollo de la IA de vanguardia y hacer Asegúrese de que los beneficios de la IA lleguen a todas las comunidades.

El papel fundamental de las instituciones internacionales y multilaterales

El acceso a determinadas tecnologías de IA podría mejorar en gran medida la prosperidad y la estabilidad, pero es posible que los beneficios de estas tecnologías no se distribuyan equitativamente ni se centren en las mayores necesidades de las comunidades subrepresentadas o del mundo en desarrollo. El acceso inadecuado a los servicios de Internet, la potencia informática o la disponibilidad de capacitación o experiencia en aprendizaje automático también pueden impedir que ciertos grupos se beneficien plenamente de los avances en IA.

Las colaboraciones internacionales podrían ayudar a abordar estos problemas alentando a las organizaciones a desarrollar sistemas y aplicaciones que aborden las necesidades de las comunidades desatendidas y mejorando la educacióninfraestructura y obstáculos económicos para que dichas comunidades hagan pleno uso de la tecnología de IA.

Además, pueden ser necesarios esfuerzos internacionales para gestionar los riesgos que plantean las potentes capacidades de la IA. Sin las salvaguardias adecuadas, algunas de estas capacidades –como el desarrollo automatizado de software, la investigación en química y biología sintética, y la generación de textos y videos– podrían usarse indebidamente para causar daño. Los sistemas avanzados de IA también pueden fallar de maneras difíciles de anticipar, creando riesgos de accidentes con consecuencias potencialmente internacionales si la tecnología no se implementa de manera responsable.

Las instituciones internacionales y de múltiples partes interesadas podrían ayudar a promover protocolos de desarrollo e implementación de IA que minimicen dichos riesgos. Por ejemplo, podrían facilitar el consenso global sobre las amenazas que las diferentes capacidades de IA representan para la sociedad y establecer estándares internacionales en torno a la identificación y el tratamiento de modelos con capacidades peligrosas. Las colaboraciones internacionales en investigación de seguridad también mejorarían nuestra capacidad para hacer que los sistemas sean confiables y resistentes al uso indebido.

Por último, en situaciones en las que los Estados tienen incentivos (por ejemplo, derivados de la competencia económica) para socavar los compromisos regulatorios de cada uno, las instituciones internacionales pueden ayudar a apoyar e incentivar las mejores prácticas e incluso monitorear el cumplimiento de las normas.

Cuatro posibles modelos institucionales

Exploramos cuatro modelos institucionales complementarios para apoyar las funciones de coordinación y gobernanza global:

  • Un intergubernamental Comisión de IA fronteriza podría generar un consenso internacional sobre las oportunidades y los riesgos de la IA avanzada y cómo se pueden gestionar. Esto aumentaría la conciencia pública y la comprensión de las perspectivas y problemas de la IA, contribuiría a una explicación científicamente fundamentada del uso de la IA y la mitigación de riesgos, y sería una fuente de experiencia para los responsables de la formulación de políticas.
  • Un acuerdo intergubernamental o de múltiples partes interesadas. Organización de gobernanza avanzada de IA podría ayudar a internacionalizar y alinear los esfuerzos para abordar los riesgos globales de los sistemas avanzados de IA estableciendo normas y estándares de gobernanza y ayudando en su implementación. También puede realizar funciones de seguimiento del cumplimiento de cualquier régimen de gobernanza internacional.
  • A Colaboración de IA de frontera podría promover el acceso a la IA avanzada como una asociación público-privada internacional. Al hacerlo, ayudaría a las sociedades desatendidas a beneficiarse de la tecnología de IA de vanguardia y promovería el acceso internacional a la tecnología de IA para objetivos de seguridad y gobernanza.
  • Un Proyecto de seguridad de IA podría reunir a investigadores e ingenieros destacados y proporcionarles acceso a recursos informáticos y modelos avanzados de IA para investigar mitigaciones técnicas de los riesgos de la IA. Esto promovería la investigación y el desarrollo de la seguridad de la IA al aumentar su escala, recursos y coordinación.

Desafíos operativos

Quedan abiertas muchas preguntas importantes sobre la viabilidad de estos modelos institucionales. Por ejemplo, una Comisión sobre IA Avanzada enfrentará importantes desafíos científicos dada la extrema incertidumbre sobre las trayectorias y capacidades de la IA y la limitada investigación científica sobre cuestiones de IA avanzada hasta la fecha.

El rápido ritmo de progreso de la IA y la capacidad limitada del sector público en cuestiones fronterizas de la IA también podrían dificultar que una Organización Avanzada de Gobernanza de la IA establezca estándares que se mantengan al día con el panorama de riesgos. Las numerosas dificultades de la coordinación internacional plantean interrogantes sobre cómo se incentivará a los países a adoptar sus estándares o aceptar su seguimiento.

Del mismo modo, los numerosos obstáculos para que las sociedades aprovechen plenamente los beneficios de los sistemas avanzados de IA (y otras tecnologías) pueden impedir que una Frontier AI Collaborative optimice su impacto. También puede haber una tensión difícil de gestionar entre compartir los beneficios de la IA y prevenir la proliferación de sistemas peligrosos.

Y para el Proyecto de seguridad de IA, será importante considerar cuidadosamente qué elementos de la investigación de seguridad se llevan a cabo mejor a través de colaboraciones versus los esfuerzos individuales de las empresas. Además, un proyecto podría tener dificultades para garantizar el acceso adecuado a los modelos más capaces para realizar investigaciones de seguridad por parte de todos los desarrolladores relevantes.

Dadas las inmensas oportunidades y desafíos globales que presentan los sistemas de IA en el horizonte, se necesita un mayor debate entre los gobiernos y otras partes interesadas sobre el papel de las instituciones internacionales y cómo sus funciones pueden promover la gobernanza y la coordinación de la IA.

Esperamos que esta investigación contribuya a aumentar las conversaciones dentro de la comunidad internacional sobre formas de garantizar que se desarrolle una IA avanzada para beneficio de la humanidad.

You missed

Conozca Nemotron Labs 3 Puzzle 75B A9B: un LLM MoE híbrido comprimido que ofrece un rendimiento de servidor 2,03x[0]Los modelos MoE híbridos grandes como Nemotron-3-Super son precisos pero costosos de mantener. Sus parámetros activos, caché KV y estado de Mamba limitan la cantidad de usuarios que puede contener un nodo a una determinada tasa de token por usuario. El equipo de IA de NVIDIA lanzó Nemotron-Labs-3-Puzzle-75B-A9B, una variante comprimida de Nemotron-3-Super. El modelo principal tiene 120,7 mil millones de parámetros totales y 12,8 mil millones activos. El modelo comprimido tiene 75,3 mil millones de parámetros totales y 9,3 mil millones de parámetros activos. El objetivo de implementación se solucionó antes de que comenzara la búsqueda de arquitectura. El objetivo uno era duplicar el rendimiento del servidor a 100 tokens por segundo por usuario. El objetivo dos eran 8 solicitudes simultáneas de 1 millón de tokens en un solo H100. Tres puntos de control en Hugging Face: BF16, FP8 y NVFP4. TL;DR Los 120,7B/12,8B activos se comprimen a 75,3B/9,3B activos, conservando el diseño híbrido de 88 bloques. El rendimiento total de 8xB200 aumenta de 1,60x a 2,14x con respecto a Super con NVFP4 coincidente y rendimiento de usuario coincidente. La simultaneidad de un solo token H100 de 1 millón va de 1 a 8, impulsada por una caída de peso de 70 GB a 44,5 GB. El rompecabezas iterativo supera al rompecabezas de un solo paso en 0,57 puntos promedio en el mismo objetivo de compresión. Arena-Hard-V2 (-4,2) y SWE-Bench (-2,6) son los costes reales; RULER y AA-LCR apenas se mueven. Nemotron-Labs-3-Puzzle-75B-A9B Nemotron-3-Super es un modelo híbrido Mamba-Transformer MoE. Puzzle-75B-A9B conserva exactamente el diseño del bloque principal. Tiene 88 bloques: 40 Mamba, 40 MoE y 8 bloques de atención. Lo que cambió es la capacidad dentro de esos bloques: CantidadSuperPuzzle-75B-A9BRatioParámetros totales120.7B75.3B62.4%Parámetros activos12.8B9.3B73.1%Tamaño de estado de Mamba SSM1289675%Tamaño intermedio experto enrutado MoE26881280-2688Media 59.9%Expertos enrutados activados por token224-18Media 50%Capacidad experta enrutada activa (relativo)100%8,7%-62,3%Media 30,9% El número de expertos enrutados, el tamaño de expertos compartido y el tamaño latente del MoE no cambian. Las capas de atención quedaron intactas. La razón declarada por la investigación propuesta es que Nemotron-3-Super ya es muy eficiente en cuanto a caché KV. Las capas de Mamba se podaron de manera uniforme, porque los marcos de inferencia no admiten un tamaño de estado SSM diferente por capa. https://arxiv.org/pdf/2607.04371 El resultado no es un profesor uniformemente reducido. La figura anterior muestra la asignación en profundidad. Puzzle conservó la capacidad en capas intermedias y tardías seleccionadas, y cortó con fuerza en otras partes. Punto de referencia y rendimiento La siguiente tabla informa el rendimiento total óptimo de Pareto en un único nodo 8xB200, con decodificación en un solo paso. Escenario (entrada/salida)Piso UTSuper (tok/s)Puzzle-75B-A9B (tok/s)Boost50K / 2K>= 1005,1288,2101.60x50K / 2K>= 1253,7846,4121.69x50K / 2K>= 1502,5324,5231.79x8K / 64K>= 10020,93942,6012.03x8K / 64K>= 12513,07427,9182.14x8K / 64K>= 1508,52218,0472.12x Ambos modelos se entregaron con pesos NVFP4 coincidentes, caché FP8 KV y estado Mamba FP16. Por lo tanto, la brecha refleja compresión, no un cambio en el formato numérico. El régimen 50K/2K con precarga pesada es el que menos gana. El régimen 8K/64K con gran decodificación es el que más gana. En un solo nodo 8xH100 en UT = 100, las ganancias son menores. Son 1,91x en 50K/2K y 1,82x en 8K/64K. Ambos modelos utilizan pesos FP8, caché FP8 KV y estado FP32 Mamba. En un único H100 en un contexto de 1M, la restricción de enlace pasa de la computación a la memoria. Los pesos NVFP4 de Super ocupan alrededor de 70 GB del presupuesto de 80 GB de HBM. Cada solicitud de token de 1 millón agrega aproximadamente 4 GB de caché KV. Por tanto, la concurrencia efectiva es 1. El peso NVFP4 del Puzzle-75B-A9B ocupa alrededor de 44,5 GB. El diseño de atención no cambia, por lo que el costo de KV por solicitud no cambia. La simultaneidad en 1M aumenta a 8. El rendimiento de decodificación agregado en esa simultaneidad es aproximadamente 4 veces el rendimiento de solicitud única de Super. El llenado previo de una solicitud de 990 000 tokens es aproximadamente 1,2 veces más rápido. Cómo funciona el rompecabezas iterativo Puzzle es un marco de búsqueda de arquitectura neuronal descompuesta, implementado aquí como Puzzletron. Define un espacio de búsqueda discreto de implementaciones de capas alternativas. Cada alternativa obtiene una puntuación de calidad. Luego, un programa de enteros mixtos selecciona una alternativa por capa bajo una restricción de implementación. Tres técnicas de poda forman el espacio de búsqueda: Poda de canales intermedios: los canales dentro de cada experto enrutado se clasifican según su contribución a la salida del experto. Todos los expertos dentro de una capa MoE se reducen a un tamaño uniforme para lograr compatibilidad con el kernel. Reducción de top-k: la cantidad de expertos a los que se enruta un token varía según la capa, hasta el k = 22 del padre. Poda de Mamba SSM: el tamaño del estado de SSM cae de 128 a 96 canales. Se mide el resultado del SSM. Bajar 128 canales a 96 acelera el kernel SSM de 1,2x a 1,3x durante la decodificación. Esto se mantiene en tamaños de lote entre 8 y 512. Los canales se clasificaron según su contribución estimada a la producción de la capa Mamba. La estimación promedió más de 67 millones de tokens de datos de validación. El Apéndice A muestra que esto supera la selección aleatoria de canales bajo una poda agresiva. La formulación original asume que los impactos en la calidad del reemplazo son aproximadamente aditivos. Cada bloque candidato se puntúa dentro del padre no modificado. Eso ignora las interacciones de orden superior entre reemplazos. Iterative Puzzle alterna la compresión limitada con una breve recuperación de destilación de conocimientos. Construye una secuencia M0, M1,… MR en lugar de saltar al objetivo. Las puntuaciones se vuelven a calcular con respecto al modelo comprimido actual, no al modelo original. Se utilizaron tres etapas: El Ministerio de Educación pondera el 75% de la capacidad docente, el estado de Mamba SSM el 75%. Curado por 24 mil millones de fichas. El Ministerio de Educación pondera el 60% de la capacidad docente. Curado por 43,2 mil millones de tokens. Se activó el presupuesto de expertos encaminado al 50%, asignado de forma heterogénea. Curado por 52,8 mil millones de tokens. https://arxiv.org/pdf/2607.04371 La tabla anterior compara esto con una línea base de Puzzle de un solo paso en el mismo objetivo. El procedimiento de tres pasos tiene un promedio de 69,05 en diez puntos de referencia, frente a 68,48. Las ganancias aparecen en MMLU-Pro, GPQA, HLE, AA-LCR, LiveCodeBench, SciCode y RULER-256K. IFBench-Instruction cayó 0,2 puntos y IFBench-Prompt cayó 0,5. Recuperación: destilación, RL y verbosidad La destilación de conocimientos se ejecutó con un 30 % de datos de preentrenamiento y un 70 % de datos SFT de Nemotron-3-Nano. Durante la fase de rompecabezas, KD utilizó una secuencia de 32K de longitud. Luego, Recovery entrenó a 128K y escaló a 512K. El presupuesto era de hasta 100 mil millones de tokens, con un lote global de 16 millones de tokens, en Megatron-LM. La capacitación posterior de RL adoptó la Etapa 2 del proceso Nemotron-3-Super RL, centrada en la ingeniería de software. La fase 2.1 realizó una comparación del uso de herramientas en un solo paso. La fase 2.2 pasó a la zona de pruebas RL de extremo a extremo, donde los agentes corren hasta 200 turnos. Ambas fases utilizaron una penalización de KL de 0. El equipo barrió las tasas de aprendizaje y luego promedió los pesos resultantes. https://arxiv.org/pdf/2607.04371 La Figura 4 anterior muestra lo que aportó cada etapa. KD de contexto corto recupera la mayoría de las categorías a más del 97% de Nemotron-3-Super. Luego, KD de contexto largo eleva específicamente los puntos de referencia de entrada larga y de generación larga. El equipo de investigación afirma que el impacto de RL en estos experimentos fue pequeño. La verbosidad es el detalle silencioso. Después de la última iteración de Puzzle, el modelo generó el 132% del recuento de tokens de Super. Eso cayó al 99% después del proceso de recuperación total. Implementación: cuantificación y predicción de tokens múltiples Se produjeron dos recetas de cuantificación posteriores al entrenamiento: FP8 W8A8 apunta a Hopper y NVFP4 W4A4 apunta a Blackwell. Componente Línea base BF16 Punto de control FP8 Punto de control NVFP4 GEMM MoE dispersos y compartidos BF16FP8NVFP4 Mamba GEMM BF16FP8FP8 Mamba Caché SSM FP32FP32FP16 + Caché SRKV FP8FP8FP8 Enrutador FP32FP32FP32 Atención QKV/salida, proyecciones latentes MoE, LM cabezaBF16BF16BF16 Ambas recetas se calibraron en 256 muestras SFT posteriores al entrenamiento. NVFP4 utilizó la calibración máxima, no la búsqueda de sensibilidad AutoQuantize utilizada para Super. El punto de control resultante se cuantifica de forma ligeramente más agresiva y se realiza de manera similar. NVFP4 no es compatible de forma nativa con Hopper. Todavía se utiliza para el objetivo H100 de contexto 1M, porque la capacidad de HBM se vincula allí. Puzzle-75B-A9B hereda un cabezal MTP compartido de Super. Los parámetros se comparten entre los pasos de MTP, por lo que un cabezal se aplica de forma recursiva en la inferencia. La transferencia directa de la cabeza entrenada de Super dio longitudes de aceptación similares. Luego, el equipo de investigación identifica una discrepancia entre el entrenamiento y la inferencia. El entrenamiento MTP forzado por el maestro alimenta la secuencia completa de estados ocultos desplazados. En cambio, la redacción autorregresiva alimenta una combinación de modelos de destino y estados ocultos generados por MTP. Las tasas de aceptación caen en posiciones de draft más profundas. Esto se soluciona mediante una formación continua de la cabeza transferida. En SPEED-Bench con una longitud de calado 7, la longitud media de aceptación aumentó de 3,45 a 4,34. Eso es aproximadamente entre el 25% y el 30%, concentrado en puestos posteriores del draft. A diferencia de Super, el punto de control NVFP4 apenas se degrada: 4,31 frente a 4,34. Dónde ayuda la compresión y dónde duele Benchmark (BF16)SuperPuzzle-75B-A9BDeltaMMLU-Pro83.882.4-1.4AIME25 (sin herramientas)92.289.7-2.5GPQA (sin herramientas)80.578.6-1.9LiveCodeBench82.181.1-1.0SciCode (subtarea)42.340.6-1.7SWE-Bench (OpenHands)59.556.9-2.6Arena-Hard-V272.868.6-4.2AA-LCR56.856.9+0.1REGLA 1M93.992.2-1.7MMLU-ProX79.577.5-2.0 El propio resumen del artículo de investigación es que el seguimiento de instrucciones y las evaluaciones agentes son las que más pierden. Arena-Hard-V2 es el peor de los casos, con -4,2 puntos. RULER se mantiene dentro de aproximadamente 1 a 2 puntos en 256K, 512K y 1M. Tres resultados de BF16 no retroceden. AA-LCR gana 0,1, Scale AI Multi-Challenge empata en 56,6 y TauBench Telecom gana 0,4. NVFP4 cuesta poco además de la compresión. En RULER 1M, el punto de control NVFP4 obtiene una puntuación de 93,2, por encima del 92,2 de BF16. HLE es el costo de NVFP4 más claro, cayendo de 16,5 a 15,7. Los resultados del 8PM se encuentran en el Apéndice E y siguen de cerca al BF16. SWE-Bench no está incluido en el punto de control del 8PM. Casos de uso RAG de contexto ultralargo en una GPU: un servicio de análisis de documentos en un contexto de 1 millón pasa de 1 solicitud simultánea a 8. El rendimiento de decodificación agregado en esa concurrencia es aproximadamente 4 veces mayor. Asistentes de codificación interactivos: en UT >= 100 tok/s en el régimen 8K/64K, un nodo sirve 2,03 veces los tokens. Ajustado por detalle, es decir, 2,16 veces las solicitudes completadas por minuto. Canalizaciones de documentos con gran cantidad de precarga: el régimen de 50.000/2.000 gana solo 1,60 veces. La compresión ayuda menos cuando el procesamiento rápido domina la computación. Bucles SWE agentes: verifique la brecha SWE-Bench de 2,6 puntos con su combinación de tareas. La recuperación de RL apuntó a esta capacidad y solo la restauró parcialmente. Explorador de implementación ‘+esc(r