Para hacer licor a base de granos, se calienta un puré fermentado en un alambique hasta que sube un vapor rico en alcohol y luego se vuelve a enfriar hasta obtener un líquido más fuerte. Los químicos y fabricantes de whisky lo conocen como destilación. Los desarrolladores de inteligencia artificial han tomado prestada la palabra para describir la reducción de un gran modelo de IA a uno más pequeño, y últimamente las mayores empresas de IA dicen que sus rivales han estado destilando como contrabandistas.
En septiembre, Anthropic y OpenAI detallaron cómo detectaron y eliminaron campañas para destilar sus modelos emblemáticos, es decir, extraer suficiente información de los modelos para entrenar nuevos modelos que imitaran a los originales a una fracción del tamaño y costo.
La destilación se ha convertido en un punto delicado para las empresas estadounidenses de IA, que intentan justificar las altas valoraciones y luchar contra la competencia entre sí y con las alternativas de código abierto. Si, digamos, un desarrollador de modelos chino puede aprovechar todo el dinero y la potencia informática que esas empresas han invertido, el incentivo para seguir fabricando nuevos modelos comienza a evaporarse.
Sobre el apoyo al periodismo científico
Si está disfrutando de este artículo, considere apoyar nuestro periodismo galardonado suscribiéndose. Al comprar una suscripción, ayudas a garantizar el futuro de historias impactantes sobre los descubrimientos y las ideas que dan forma a nuestro mundo actual.
Y nadie espera que la destilación se detenga pronto, por lo que pedimos a los investigadores que la estudian que expliquen la situación.
¿Qué es la destilación?
Así como un alambique concentra una gran cantidad de líquido débil en una cantidad más pequeña de materia fuerte, la destilación por IA condensa un modelo grande en uno más pequeño que, idealmente, actúa como el original. El proceso comienza con el modelo grande existente, llamado maestro. Los desarrolladores preguntan al profesor muchas veces y luego introducen sus respuestas en el nuevo modelo, llamado estudiante, para entrenar a este último.
En cierto modo, cada respuesta contiene información sobre lo que el profesor aprendió durante la formación, de modo que el conocimiento pasa al estudiante sin pasar por el proceso de recopilación de datos, encontrar patrones en esos datos y obtener retroalimentación humana. La destilación permite a alguien aplicar ingeniería inversa a un modelo de IA simplemente usándolo y observando sus respuestas.
Ayuda que los modelos de IA tiendan a revelar algo más que sus respuestas finales. “A menudo, el modelo docente no sólo te da la etiqueta, sino que en realidad te brinda información más detallada”, dice Yevgeniy Vorobeychik, profesor de informática en la Universidad de Washington en St. Louis. Eso podría incluir las probabilidades que un modelo asigna a cada respuesta posible o, como en el caso descrito por OpenAI, un registro cifrado del razonamiento paso a paso que siguen sus modelos más potentes antes de responder.
¿Por qué destilar en primer lugar?
Mucha destilación es correcta. Los modelos más pequeños permiten a los desarrolladores obtener más por menos. De hecho, el concepto es anterior a los grandes modelos de lenguaje (LLM); En la década de 2000, los investigadores lo estudiaban como una forma de aumentar la eficiencia de las redes neuronales. “Nos preocupamos por hacerlo más pequeño, más fácil de usar y más rápido de aplicar”, dice Alexandru Niculescu-Mizil, investigador de aprendizaje automático en Qube Research & Technologies, quien coescribió uno de los primeros artículos sobre la idea en 2006.
Destilar el modelo de otra persona es otra cuestión. El término llamó la atención del público por primera vez a principios de 2025, cuando DeepSeek, entonces una startup china poco conocida, lanzó un modelo de razonamiento, llamado R1, que, según decía, había sido entrenado por menos de 300.000 dólares, una fracción de lo que habían gastado los laboratorios estadounidenses. Rápidamente surgieron acusaciones de que DeepSeek había entrenado a R1 en parte con respuestas extraídas de los modelos de OpenAI.
Hoy en día, la palabra se asocia generalmente con acusaciones de robo de modelos, principalmente dirigidas a desarrolladores chinos como DeepSeek y Moonshot AI, el fabricante de Kimi. En sus informes de septiembre, Anthropic y OpenAI culparon a los laboratorios con sede en China por las recientes campañas de destilación que detectaron, calificando la actividad de “ilícita” y “no autorizada”. DeepSeek y Moonshot AI han rechazado estas acusaciones en el pasado. Por supuesto, Anthropic y OpenAI han sido acusados de entrenar sus modelos con datos obtenidos sin autorización de Internet.
Aun así, aunque las empresas también consideran la destilación un riesgo para la seguridad, su interés más obvio en detenerla es proteger su ventaja competitiva. “El texto que produce en respuesta a su solicitud está siendo robado por algunas empresas rivales”, dice Alexander Panfilov, Ph.D. Estudiante del Instituto Max Planck de Sistemas Inteligentes en Alemania. “Pero a nivel conceptual, lo que estás robando [are] capacidades”.
Entonces, ¿cómo se destila?
En general, la destilación se realiza recopilando miles y miles de respuestas de IA a diferentes tipos de consultas. Esas indicaciones y respuestas luego se convierten en datos de entrenamiento para el estudiante, generalmente a través de un proceso llamado ajuste supervisado, que trata las respuestas del maestro como objetivos que el estudiante debe intentar emular. A lo largo de muchas rondas, el entrenamiento empuja las configuraciones internas del estudiante, llamadas ponderaciones, para que sus respuestas coincidan más con las del maestro.
La clave es obtener esos datos. Anthropic y OpenAI han detallado varios métodos creativos que creen que utilizaron los atacantes para hacerlo. Según Anthropic, algunos laboratorios enviaron las indicaciones de sus propios clientes a Claude y luego guardaron las respuestas de Claude para entrenar sus propios modelos. La compañía también dijo que los destiladores intentan ocultar dónde están ubicados. Mientras tanto, OpenAI dijo que los destiladores intentaron llegar al razonamiento oculto de sus modelos “copiando el razonamiento cifrado de una conversación y pidiendo a un modelo en otra conversación que lo descifre”.
Panfilov fue coautor principal de un artículo preimpreso que detalla ese tipo de ataque, y OpenAI le dio crédito a él y a sus colegas por llamar la atención de la empresa sobre los ataques. En este caso, el objetivo era destilar cómo razonan los modelos o generar respuestas más largas para resolver problemas difíciles paso a paso. Panfilov y sus colegas llamaron a su proyecto “Pensamientos Robados”, una señal de cuán estrechamente se ha entrelazado el concepto con el robo.
¿Cómo se atrapa a un destilador?
Las empresas de IA dudan en revelar exactamente cómo detectaron estos últimos intentos porque hacerlo le mostraría al próximo destilador qué debe evitar. Sin embargo, en términos generales, las empresas parecen haber estado atentas a cuentas que incitaban a sus modelos de manera sospechosa, ya sea lanzando muchas indicaciones en poco tiempo o haciendo preguntas reveladoras. Anthropic, por ejemplo, dijo que, de mayo a julio, observó más de 151 millones de intercambios entre Claude y cuentas vinculadas al gigante chino del comercio electrónico Alibaba, que también fabrica la familia Qwen de modelos de inteligencia artificial.
Panfilov dice que el ataque que estudió es fácil de detectar, pero le preocupa que los más inteligentes no puedan detectarse sin pisotear la privacidad de todos. “No tengo una buena idea de cómo [AI companies] Lo haría, especialmente porque afirman tener esta política de retención de datos cero”, dice, refiriéndose a los acuerdos bajo los cuales las empresas no almacenan las indicaciones y respuestas de algunos clientes.
Tanto OpenAI como Anthropic han advertido que los métodos de los destiladores solo se volverán más sofisticados, dado lo valiosa que puede ser la destilación.
¿Se puede detener la destilación?
El problema es que las mismas cualidades que hacen que los modelos de IA sean informativos y útiles también los hacen buenos para entrenar. Por lo tanto, los intentos de hacer que un modelo sea más difícil de destilar también pueden empeorarlo. Durante el verano, Vorobeychik y sus colegas descubrieron que el razonamiento de un modelo se puede reescribir de modo que sea un material de entrenamiento deficiente para un imitador, sin que las respuestas del modelo sean menos precisas. Sin embargo, también descubrieron que el razonamiento reescrito era más difícil de seguir para las personas. “Sólo por el hecho de que son más difíciles de leer para el LLM, también son más difíciles de digerir para los humanos”, dice Vorobeychik. Se trata de un intercambio no deseado para una tecnología cuya producción ya recibe críticas por ser difícil de analizar.
Panfilov también señala que la destilación se puede hacer en partes en las que “cada consulta en sí misma sea benigna”. Eso haría aún más difícil distinguir a alguien que propone un modelo para uso ordinario de alguien que intenta construir su propio modelo. Las empresas de IA tendrán que equilibrar la protección de las capacidades de sus modelos con la posibilidad de mostrarlas al público, que es, después de todo, lo que están vendiendo.
Todo esto sugiere que detener la destilación ilícita significará encontrar nuevos ataques antes de erradicarlos. Los laboratorios, en efecto, están jugando a ser recaudadores de impuestos, los agentes fiscales sobre las bebidas alcohólicas que alguna vez cazaron y desmantelaron destiladores ilegales. Pero a medida que los temores sobre la destilación se entrelazan con los temores sobre las capacidades de la IA china en general, romper las imágenes una a una puede no ser suficiente para tranquilizar a la industria estadounidense de la IA.