Con la creciente popularidad de la inteligencia artificial generativa, muchos modelos de código abierto ahora están disponibles en línea para que cualquiera pueda adaptarlos a su tarea, como generar representaciones de productos con un estilo artístico determinado.
Pero estos modelos también llegan a manos de actores nefastos que pueden optimizarlos para producir contenido ilegal, como discursos de odio o material de abuso sexual infantil (CSAM). Este es un problema creciente: el Centro Nacional para Niños Desaparecidos y Explotados recibió más de 1,5 millones de informes de CSAM generados por IA en 2025, un aumento de 67.000 en 2024.
Los ingenieros suelen probar la IA en busca de capacidades dañinas solicitando el modelo e inspeccionando sus resultados, pero esto es imposible para CSAM, ya que es ilegal en los EE. UU. generar dicho contenido, independientemente de la intención.
Para evitar este dilema y mejorar la seguridad de la IA, un equipo de científicos del MIT, dirigido por el estudiante graduado Vinith Suriyakumar y los profesores asociados Ashia Wilson y Marzyeh Ghassemi, unieron fuerzas con investigadores de Thorn para desarrollar un nuevo enfoque de auditoría que determine si un modelo puede producir CSAM, sin provocarlo. Thorn es una organización sin fines de lucro de seguridad infantil cuya misión es transformar la forma en que se protege a los niños del abuso y la explotación sexual en la era digital.
Su técnica examina cómo se ha adaptado el funcionamiento interno de un modelo, pero nunca genera un resultado. Al examinar representaciones ocultas, se puede inferir de forma fiable si un modelo se ha especializado para producir imágenes dañinas.
Cuando se probó, el procedimiento de auditoría identificó variaciones del modelo que se habían especializado para generar CSAM con una precisión del 100 por ciento. Una plataforma de alojamiento podría utilizar esta técnica para marcar modelos inseguros y eliminarlos rápidamente o evitar que se carguen en primer lugar.
“Esto abre una nueva vía para que las plataformas que albergan modelos de código abierto y para que las fuerzas del orden prueben realmente si un modelo es capaz de generar CSAM. Antes, no teníamos forma de medir esto. Era un enorme punto ciego que algunas personas estaban aprovechando. Ahora, podemos abordar un problema de seguridad de la IA que está teniendo graves impactos negativos”, afirma Vinith Suriyakumar, estudiante de posgrado en ingeniería eléctrica e informática (EECS) del MIT y autor principal de un artículo sobre esta técnica.
A Suriyakamur y Wilson, profesor de desarrollo profesional Lister Borthers en EECS e investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS), se unen en el artículo Lena Stempfle, postdoctorada del MIT; Ghassemi, profesor asociado en EECS y miembro del Instituto de Ciencias de la Ingeniería Médica (IMES) y LIDS; y otros en la Universidad de Boston y Thorn. El documento se presentó como tema destacado en el taller “AI confiable para el bien” en la Conferencia Internacional sobre Aprendizaje Automático.
Adaptaciones de auditoría
Técnicas recientes han facilitado a los usuarios especializar un modelo de IA generativa para su tarea mediante un proceso conocido como ajuste fino.
En lugar de volver a entrenar todo el modelo en un conjunto de datos de una tarea específica, los individuos pueden utilizar un algoritmo llamado adaptación de rango bajo (LoRA) para especializar el modelo de una manera más eficiente.
Esto ha dado lugar a una ola de nuevas variantes de modelos de IA generativa para diversos fines, como producir imágenes en acuarela que imiten un movimiento artístico. Pero también ha permitido a actores maliciosos crear modelos que pueden generar CSAM de alta calidad y otras imágenes dañinas.
Para auditar un modelo, los ingenieros normalmente lo detectan en busca de contenido dañino y verifican sus resultados, pero este procedimiento de auditoría manual no es escalable. Además, generar repetidamente imágenes atroces puede tener impactos psicológicos negativos en los evaluadores humanos.
Este método de evaluación rápidamente se desmorona cuando se prueba CSAM, cuya generación es ilegal para cualquier propósito en los EE. UU. y muchas otras jurisdicciones internacionales.
“Estamos en una situación muy difícil en la que, según la propia ley, no podemos utilizar los medios de evaluación de facto. Tuvimos que desechar todo el conjunto de herramientas y adoptar un enfoque diferente”, afirma Suriyakumar.
Después de conocer este enigma, los investigadores unieron fuerzas con Thorn para abordar este problema.
Una solución no generativa
En lugar de centrarse en los resultados, los investigadores se centraron en las modificaciones que realiza un algoritmo LoRA durante el ajuste fino.
Su técnica prueba estas modificaciones, llamadas adaptadores LoRA, para determinar si un modelo se ha especializado en una capacidad dañina, sin generar un resultado.
Utilizando una técnica llamada sondeo gaussiano, los investigadores alimentan al modelo con un conjunto de puntos de datos aleatorios y analizan cómo manipula esos datos dentro de su estructura interna multicapa.
“Nunca ejecutamos el modelo hasta el final ni lo solicitamos, por lo que nunca generamos imágenes”, explica Suriyakumar.
Los investigadores capturan esas modificaciones en múltiples puntos de tiempo dentro de la estructura interna del modelo y las promedian para resumir cómo el adaptador LoRA cambió el cálculo del modelo. Descubrieron que estas respuestas eran una fuerte señal de cómo se había especializado un modelo.
Probaron su método en variaciones de tres tipos de modelos, comparando los resultados con datos reales de adaptadores LoRA conocidos por generar CSAM, otras imágenes dañinas y contenido seguro.
Su método fue 100 por ciento preciso en la identificación de modelos que habían sido adaptados para generar CSAM.
“Existe una gran cantidad de preocupaciones sobre la seguridad infantil con la IA, y estas son preocupaciones reales que deben abordarse. Muchos niños están siendo perjudicados por las falsificaciones de IA. Hemos demostrado que el sondeo gaussiano puede ser una herramienta muy útil, y esperamos que la comunidad de investigación realmente preste más atención a este problema”, dice Wilson.
Es importante destacar que su técnica es escalable y su implementación sería relativamente económica. Dado que cada mes se publican en línea miles de variaciones de modelos, la escalabilidad es clave para ayudar a los auditores a eliminar adaptaciones dañinas antes de que se distribuyan ampliamente.
El sondeo gaussiano también es más sólido que otras técnicas de auditoría, ya que un actor nefasto necesitaría alterar cuidadosamente el funcionamiento interno del modelo base para evitar la detección.
En el futuro, los investigadores quieren evaluar su técnica en un conjunto más amplio de variaciones de modelos y explorar si el sondeo gaussiano puede detectar capacidades dañinas en los modelos base antes de adaptarlos.
“Ahora tenemos un enfoque tecnológico para abordar parcialmente esta preocupación. Se pusieron muchos esfuerzos en esta colaboración, lo que nos permitió abordar un problema realmente difícil que está dañando a tantos niños, a nivel nacional y en todo el mundo. Con suerte, podemos tener un impacto transformador en esta área”, dice Ghassemi.
Este trabajo fue apoyado, en parte, por la beca de investigación Bridgewater AIA Labs.