Cuando un modelo experimental de inteligencia artificial de OpenAI salió de una prueba de ciberseguridad este verano y se infiltró en la plataforma Hugging Face, esta última recurrió a una herramienta sorprendente para investigar el ataque: un modelo chino de IA de peso abierto. Su primera opción, los modelos comerciales estadounidenses, se habían negado a analizar algunos de los códigos maliciosos debido a sus restricciones de seguridad.
El episodio ilustra un problema que enfrentan el presidente estadounidense Donald Trump y el presidente chino Xi Jinping, quienes se espera que discutan la seguridad de la IA en su reunión de esta semana. Los desarrolladores chinos están poniendo modelos cada vez más capaces en manos de personas de todo el mundo, incluso cuando las empresas estadounidenses de inteligencia artificial están instando a los gobiernos a establecer salvaguardias más fuertes. La difusión de potentes modelos abiertos está exponiendo los límites de un enfoque de seguridad de la IA que depende de que los desarrolladores mantengan el control sobre sus tecnologías.
Mientras que las principales empresas estadounidenses de inteligencia artificial, como OpenAI y Anthropic, mantienen en secreto los detalles y el código de sus modelos más potentes, los desarrolladores chinos han adoptado la apertura. Según un informe reciente de Mozilla, siete de los 10 modelos de IA más utilizados del mercado de IA OpenRouter, medidos por el uso de tokens, en agosto fueron construidos en China y eran de peso abierto. Estos modelos descargables pueden ser adaptados y puestos en funcionamiento por desarrolladores de todo el mundo, convirtiéndolos en alternativas atractivas a los sistemas estadounidenses propietarios y relativamente costosos.
Sobre el apoyo al periodismo científico
Si está disfrutando de este artículo, considere apoyar nuestro periodismo galardonado suscribiéndose. Al comprar una suscripción, ayudas a garantizar el futuro de historias impactantes sobre los descubrimientos y las ideas que dan forma a nuestro mundo actual.
Gran parte del desacuerdo se reduce al control. Las empresas que ofrecen modelos patentados de IA pueden restringir cómo las personas los usan y modificar las salvaguardas a medida que surgen nuevos riesgos. Los modelos de peso abierto, por el contrario, permiten a los usuarios descargar y modificar la tecnología subyacente, incluso eliminando salvaguardias destinadas a evitar usos nocivos. A menudo se les llama “código abierto” como una abreviatura imprecisa pero evocadora, aunque sus desarrolladores no suelen poner a disposición los datos o el código de entrenamiento.
Las restricciones a los modelos propietarios pueden hacer que sea más difícil utilizarlos indebidamente. Pero esas mismas restricciones también pueden frustrar a los investigadores de ciberseguridad que intentan comprender el alcance de las capacidades de los sistemas. Hanna Foerster, doctora en informática. estudiante de la Universidad de Cambridge, dice que algunos proveedores ofrecen acceso especial a los investigadores que estudian seguridad defensiva, pero que ese acceso es mucho más difícil para los académicos que estudian capacidades ofensivas. Los modelos abiertos ofrecen otra opción y sus capacidades se están poniendo al día. “Hay algunas empresas emergentes que están trabajando en modelos de código abierto que en realidad tienen capacidades similares… a las que obtienen para algunos modelos supergrandes de código cerrado”, afirma.
Pero Foerster dice que gran parte del peligro reside en el software y la infraestructura que rodean a un modelo. Conocido como “arnés”, este software puede convertir un chatbot en un agente de inteligencia artificial capaz de actuar de forma autónoma. Si le da a ese agente acceso a los archivos de una computadora o la capacidad de ejecutar código, puede hacer mucho más que responder preguntas peligrosas.
Esto tiene implicaciones sobre cómo se evalúan y protegen los sistemas de IA. “El debate actual sobre auditoría refuerza el argumento a favor de pensar más allá de la seguridad a nivel de modelo. La seguridad depende cada vez más de todo el sistema alrededor de un modelo”, dice Avijit Ghosh, investigador principal de políticas técnicas de IA en Hugging Face. Señala los permisos que recibe un agente y el uso de entornos informáticos aislados conocidos como sandboxes.
Ion Stoica, profesor de informática en la Universidad de California, Berkeley, duda de que los esfuerzos estadounidenses por restringir el acceso a una IA potente puedan impedir la difusión de modelos capaces. “No entiendo”, dice. “¿Cuál es la alternativa?” Una vez que los modelos estén disponibles gratuitamente, sostiene, es poco probable que restringir a los desarrolladores estadounidenses impida que actores maliciosos en otros lugares obtengan capacidades comparables. También cuestiona dejar los sistemas de IA más potentes en manos de unas pocas empresas: ¿Te imaginas, dice, “un mundo en el que vas a confiar en OpenAI y Anthropic? [to] ¿Sabes lo que están haciendo?
Esto plantea un problema para la regulación internacional. En un análisis publicado el lunes, antes de las conversaciones de los presidentes de Estados Unidos y China, investigadores del Centro de Estudios Estratégicos e Internacionales escribieron que aplicar los mismos estándares de seguridad a los modelos fronterizos de Estados Unidos y China requeriría que los reguladores extendieran su alcance a China, lo que los autores consideraban extremadamente improbable, o encontraran una manera para que los dos países reconocieran y verificaran las evaluaciones de seguridad de cada uno.
Los funcionarios estadounidenses han propuesto un primer paso más limitado: un mecanismo para que los dos países se notifiquen mutuamente sobre incidentes graves de IA que amenacen la seguridad nacional. Un acuerdo así no resolvería el desacuerdo más amplio sobre cómo controlar los modelos poderosos que ya están en circulación. La brecha en Hugging Face y sus consecuencias ofrecen una instantánea inusual de ese dilema: un modelo experimental de una compañía estadounidense montó la intrusión, y un modelo chino descargable ayudó a los investigadores a reconstruir lo que sucedió.
Suscríbete para apoyar el periodismo independiente
El gran periodismo científico requiere experiencia humana, tiempo, esfuerzo y creatividad. Y cuesta dinero. Es por eso que los periodistas de Scientific American y yo esperamos que se una a nuestra comunidad.
Cuando te suscribes, estás apoyando al personal y a los periodistas independientes apasionados por contar historias científicas que sean verdaderas, importantes y convincentes. Nuestros editores y reporteros suelen ser expertos en sus campos, lo que significa que comprenden los matices de los grandes descubrimientos y pueden separar los avances de las exageraciones. Con una suscripción, también respalda una verificación rigurosa de los datos para garantizar que las palabras que publicamos sean precisas y exactas. Y estás apoyando ilustraciones, gráficos y fotografías originales que te acercan a un laboratorio avanzado, una capa de hielo en la Antártida o una misión espacial en órbita. También nos estás ayudando a crear otros tipos de periodismo de alta calidad: nuestros boletines están cuidadosamente escritos, editados y seleccionados por personal que conoces y amarás o que conocerás. Nuestro podcast Science Quickly se basa en informes originales, colaboración con editores y científicos y una producción exigente.
Las suscripciones mantienen este motor en funcionamiento para que podamos seguir ofreciéndole periodismo científico reflexivo, riguroso e independiente. En una era de desinformación viral, este trabajo es crucial. Si valoras lo que hacemos, espero que consideres unirte a nosotros como suscriptor.