Envenenamiento de datos en el aprendizaje automático: por qué y cómo las personas manipulan los datos de entrenamiento

Una parte que se pasa por alto pero que es enormemente vital para permitir que funcione el aprendizaje automático y, por lo tanto, la IA. Las empresas de IA generativa están recorriendo el mundo en busca de más datos constantemente porque esta materia prima se requiere en grandes volúmenes para construir los modelos. Cualquiera que esté construyendo o ajustando un modelo debe primero recopilar una cantidad significativa de datos incluso para comenzar.

Sin embargo, de esta realidad surgen algunos incentivos contradictorios. Proteger la calidad y autenticidad de sus datos es un componente importante de la seguridad, porque estas materias primas harán o desharán los modelos de aprendizaje automático que ofrece a los usuarios o clientes. Los malos actores pueden insertar, mutar o eliminar estratégicamente datos de sus conjuntos de datos de maneras que quizás ni siquiera note, pero que alterarán sistemáticamente el comportamiento de sus modelos.

Al mismo tiempo, creadores como artistas, músicos y autores están librando una batalla continua contra la violación desenfrenada de los derechos de autor y el robo de propiedad intelectual, principalmente por parte de empresas de inteligencia artificial generativa que necesitan encontrar más datos para arrojar a las voraces fauces del proceso de capacitación. Estos creadores buscan medidas que puedan tomar para prevenir o desalentar este robo que no solo requiera estar a merced de tribunales que a menudo funcionan con lentitud.

Además, a medida que las empresas hacen todo lo posible para reemplazar los motores de búsqueda tradicionales con búsquedas mediadas por IA, las empresas cuyos negocios se basan en la búsqueda a través de búsquedas están pasando apuros. ¿Cómo puede acceder a los clientes y presentar la identidad de marca que desea al público si las inversiones que realizó en visibilidad de búsqueda durante las últimas décadas ya no son relevantes?

Los tres casos nos señalan un concepto: "intoxicación de datos".

¿Qué es el envenenamiento de datos?

En resumen, el envenenamiento de datos consiste en cambiar los datos de entrenamiento utilizados para producir un modelo de aprendizaje automático de alguna manera, de modo que se altere el comportamiento del modelo. El impacto es específico del proceso de entrenamiento, por lo que una vez que se crea un artefacto modelo, el daño ya está hecho. El modelo estará irreparablemente sesgado, potencialmente hasta el punto de resultar inútil, y la única solución real es volver a entrenar con datos limpios.

Este fenómeno es un peligro para el reentrenamiento automático, donde la observación humana es mínima, pero también para el entrenamiento muy bien observado porque normalmente los cambios en los datos del entrenamiento son invisibles para el espectador promedio. Por ejemplo, en un estudio citado por Hartle et al. (2025) en relación con los datos de desinformación médica envenenados, "Quince médicos tuvieron la tarea de determinar la respuesta envenenada y la respuesta inicial; los revisores no pudieron determinar la diferencia entre los dos resultados… Cuando los datos específicos del concepto fueron envenenados, al 0,001%, hubo un aumento del 4,8% en el contenido dañino".

El intento de aplicar ingeniería inversa a los datos envenenados y eliminarlos en gran medida no ha tenido éxito. Se han intentado técnicas bajo el paraguas del “desaprendizaje automático”, pero cuando no podemos detectar los datos problemáticos, es difícil que estos esfuerzos progresen. Incluso cuando podemos detectar los datos, los investigadores descubren que eliminar rastros de la arquitectura de un modelo no es eficaz para deshacer el daño.

El envenenamiento de datos puede adoptar muchas formas diferentes, por lo que voy a trabajar hacia atrás y analizaré tres motivos específicos del envenenamiento de datos, cómo funcionan y cuáles son sus resultados:

Actividad delictiva que previene el marketing del robo de propiedad intelectual

Actividad criminal

Hay varias razones por las que los actores criminales podrían querer involucrarse en el envenenamiento de datos. Muchos modelos tienen acceso a datos muy sensibles o valiosos para lograr sus objetivos (por ejemplo, ayudar a los usuarios a interactuar con el software bancario o asesorar a los proveedores de atención médica sobre el mejor tratamiento para un diagnóstico, etc.). Si estos datos pueden ser útiles para obtener ganancias financieras, entonces alguien intentará conseguirlos o modificarlos para sus propios fines.

Cómo funciona

El envenenamiento de datos puede ser un juego un poco largo, porque requiere afectar los datos de entrenamiento, pero aún así puede ser muy sigiloso y efectivo en algunas situaciones. Aprendí un poco sobre esto en la conferencia IEEE CISOSE en julio pasado, donde se presentó el artículo de Sofiane Bessaï en el que se analiza cómo es posible identificar tales casos, con la esperanza de mitigar los ataques. Como dicen, "Estos ataques introducen perturbaciones imperceptibles en los datos de entrada, lo que hace que los modelos hagan predicciones incorrectas con un alto nivel de confianza". Esto significa que los cambios en los datos de entrenamiento no son obvios en absoluto, y el análisis estadístico de los datos de entrenamiento tendrá dificultades para revelar estos cambios. Sin embargo, al evaluar cuidadosamente el comportamiento del modelo entrenado, tiene más posibilidades de aplicar ingeniería inversa a lo que sucedió.

Las investigaciones también indican que no se requieren muchos datos para que este tipo de ataque funcione. Souly et al. (2025) determinaron, de hecho, que 250 documentos eran esencialmente suficientes para lograr el envenenamiento en numerosos casos de uso diferentes y en diferentes tamaños de conjuntos de entrenamiento para modelos basados ​​en texto.

Resultados

Puede haber algunos objetivos diferentes para este tipo de ataque. Por ejemplo, si un modelo se debilita y el rendimiento se degrada, un modelo de ciberseguridad podría no identificar las violaciones de una red. Alternativamente, el atacante podría hacer predicciones fraudulentas. Esto puede ser realmente efectivo, porque cuando la salida suele ser "normal" pero los casos raros varían del comportamiento estándar del modelo, entonces es menos probable que se detecte la falla y es más probable que el modelo se mantenga en producción. Mientras el comportamiento del modelo solo prefiera sutilmente el resultado deseado por el atacante, puede ser extremadamente difícil para otros darse cuenta de que algo anda mal. Piense en algo así como un modelo que determina quién obtiene la aprobación de un préstamo, o por cuánto; si este modelo ofrece préstamos extravagantes en términos ridículos a sólo un subconjunto muy pequeño de personas, pero en su mayor parte se comporta como se espera, esto podría ser un ataque muy rentable.

Pero el envenenamiento de datos no sólo se utiliza para actividades delictivas, sino que también tiene otros fines.

Prevención del robo de propiedad intelectual

Cuando hablamos de envenenamiento de datos para prevenir o penalizar el robo de propiedad intelectual, lo que queremos decir es envenenamiento de datos no para cambiar el comportamiento del modelo de una manera particular, sino para intentar que el entrenamiento del modelo falle, si cierto contenido se usa sin autorización o permiso. Los objetivos pueden ser hacer que el modelo no aprenda patrones en ciertos datos o hacer que un modelo sea completamente inutilizable debido a un rendimiento terrible en la inferencia si se roba el contenido utilizado en el entrenamiento.

Cómo funciona

Piense en esto no como un ataque, sino como un mecanismo de defensa para los creadores de contenido. Cuando los creadores utilizan técnicas como esta en sus obras utilizando herramientas como Nightshade, pueden insertar efectos que son prácticamente imperceptibles para el ojo humano, pero que serán extremadamente significativos para la red neuronal en el proceso de entrenamiento. Las investigaciones indican que esto sólo requiere que el creador tenga acceso a muy pocas imágenes de entrenamiento para ser efectivo y no depende de un volumen masivo.

Sin embargo, esta no es la única opción para la protección de la propiedad intelectual en el ámbito del envenenamiento de datos. También hay una herramienta llamada Glaze que evitará que el modelo reproduzca el estilo de la imagen, pero en realidad no interfiere con el entrenamiento en general. Sin afectar las imágenes, los creadores pueden cambiar la forma en que sus imágenes se etiquetan o describen en el texto, porque se requieren pares de imagen y texto para usarlos para entrenar texto para generar modelos de IA generativos de imágenes. En realidad, parte del envenenamiento de datos puede inducir una violación de los derechos de autor como forma de demostrar que se utilizó contenido protegido por derechos de autor en la capacitación, lo que puede ser una prueba instrumental para los casos judiciales.

Estas estrategias también pueden funcionar para otros medios. AntiFake es una herramienta que cambia las ondas sonoras en una grabación para evitar que la voz de un individuo se utilice en el entrenamiento de modelos, como Glaze, evitando que se aprenda una sola muestra. También es teóricamente posible sesgar un modelo de generación de texto cambiando la semántica del lenguaje de manera intencional. Un LLM aprende cómo se relacionan las palabras entre sí en los patrones del lenguaje humano, por lo que si se incluye un cuerpo de texto en la capacitación que viola o manipula esos patrones de manera deliberada e intencional, puede interferir con el enfoque de aprendizaje del modelo. Si el LLM aprende patrones inexactos en el lenguaje humano, el lenguaje que genere será poco convincente o completamente extraño.

En cada caso, los resultados deseados son hacer que un dato de entrenamiento no contribuya con sus características a la arquitectura subyacente del modelo, evitando la reproducción o imitación de esos datos, o hacer que los modelos se comporten de manera tan inesperada o inapropiada que el modelo que fue entrenado con estos datos no sea utilizable siempre que el material protegido por derechos de autor esté incluido en el entrenamiento.

Resultados

Los usuarios que realizan envenenamiento de datos en este escenario a menudo esperan llamar la atención: no es un ataque sigiloso y no están tratando de ganar dinero cambiando el comportamiento del modelo. En cambio, les gustaría que el modelo entrenado en su IP fuera inútil, ya sea en general o para copiar y reproducir su trabajo. Al final, esto haría que el robo de su propiedad intelectual o contenido no fuera rentable para la empresa de IA generativa involucrada.

A muchos creadores les gustaría que el valor económico de la formación sobre datos envenenados fuera lo suficientemente bajo como para cambiar el comportamiento de la industria. Debido a que es probable que el efecto del envenenamiento de esta forma sea difícil de detectar hasta que se haya realizado o al menos comenzado el entrenamiento, ya se ha realizado cierta inversión en computación/potencia/recopilación de datos, por lo que descubrir que los datos de entrenamiento están comprometidos puede hacer que ese dinero se desperdicie.

Marketing

Una tercera aplicación del envenenamiento de datos se encuentra en el amplio ámbito del marketing. Es una nueva evolución de lo que se llama optimización de motores de búsqueda o SEO.

SEO

En el caso de la optimización de motores de búsqueda, los especialistas en marketing crearían páginas web artificiales para que los motores de búsqueda eliminaran contenido que fuera particularmente beneficioso o complementario para la marca de su cliente. Luego, los especialistas en marketing crearían enlaces entre las páginas que generaron, porque los motores de búsqueda utilizarían recuentos de enlaces de referencia como parte del algoritmo para decidir qué páginas recomendar en los resultados de búsqueda. Al crear más páginas que tuvieran más enlaces interconectados entre sí, si esas páginas contuvieran material beneficioso para el cliente, los motores de búsqueda clasificarían estas páginas más arriba en los resultados de búsqueda relevantes.

Cómo funciona

La optimización de la IA es algo similar a esto. En lugar de crear contenido web para la atención de los algoritmos de los motores de búsqueda, los especialistas en marketing crean contenido que se utilizará como datos de entrenamiento en el desarrollo de modelos de IA generativa. Es posible que sea necesario un volumen algo alto, dependiendo del efecto deseado, pero como aprendimos cuando hablamos del envenenamiento de datos criminales, los efectos en el comportamiento del modelo a menudo se pueden obtener con menos datos de los que se cree.

También es importante tener en cuenta que los LLM también permiten la creación de todo este contenido para alimentar el proceso de capacitación. Es más barato y más fácil que nunca generar montañas de contenido de texto que parezca casi creíblemente escrito por humanos, por lo que es bastante viable económicamente generar texto de marketing a escalas efectivas.

Al sembrar los datos de capacitación con contenido específico que sea beneficioso para la marca de un cliente, comienza a sesgar el conjunto de datos de capacitación de una manera que significa que el modelo podría favorecer la marca de su cliente y/o mostrar un sesgo contra los competidores de manera sutil.

Resultados

La sutileza es importante, porque los especialistas en marketing no querrían que esto necesariamente se notara; podría parecer una mano dura si es demasiado obvio, y los proveedores de modelos de IA generativa podrían notarlo e intentar remediarlo. En cambio, se busca una preferencia sutil pero estadísticamente significativa por una marca sobre otra, y eso comenzaría a revelarse en los datos de clientes y usuarios cuando realmente estén usando el modelo.

Si bien esto no es necesariamente lo que podríamos considerar un ataque o un comportamiento malicioso, sí intenta sesgar los resultados de los modelos en contra de la voluntad de los diseñadores de modelos, y eso es contrario a los términos de servicio y las políticas de uso aceptable para la mayoría de los productos de IA generativa. Sin embargo, puede ser difícil precisar cuál es la actividad inapropiada aquí. Después de todo, los especialistas en marketing no están obligando a los investigadores a utilizar estos datos para formar un LLM. Las empresas de IA generativa están recopilando la mayor cantidad de Internet posible, recopilando todas las páginas web que pueden encontrar para completar los datos de capacitación disponibles; a veces eso incluye este tipo de cosas. Parece predecible que este tipo de comportamiento se presente tarde o temprano.

Cuando los modelos buscan

De manera relacionada, los principales LLM ahora también realizan búsquedas web como parte de sus conjuntos de herramientas de agencia, y algunos especialistas en marketing de AIO también trabajan para asegurarse de que el contenido basado en la web se adapte a las "preferencias" de los LLM que realizan búsquedas web. A través de la experimentación, a veces es posible identificar qué frases se abrirán paso a través de la búsqueda web hasta llegar a la respuesta generada por el LLM para el usuario. Esta no es una estrategia de envenenamiento de datos de entrenamiento, sino algo más adyacente a la ingeniería rápida o la ingeniería de contexto, ya que el modelo ingiere los resultados de la búsqueda y los utiliza para formular resultados. Sin embargo, tiene el mismo efecto de hacer que las respuestas de LLM a los usuarios estén sesgadas a favor o en contra de una marca.

Respondiendo al envenenamiento de datos

Entonces, si está entrenando un modelo utilizando datos extraídos de fuentes fuera de su control o creados por otros, ¿cómo debe evitar el envenenamiento de datos?

Primero, no robes datos para entrenar. Más allá de que sea un comportamiento éticamente correcto, no se puede garantizar que los datos no serán envenenados, si es la IP de otra persona y no tienes autorización para usarla, por un lado, o si actores maliciosos han conseguido tenerla en sus manos, por el otro. Puede que tenga suerte y que los datos estén bien, pero con toda probabilidad no lo sabrá hasta que haya invertido.

En segundo lugar, supervise y controle la recopilación de datos, y examine y limpie sus datos de entrenamiento. Incluso los datos gratuitos y de código abierto populares pueden tener actores maliciosos detrás. Tome medidas cuidadosas para limpiar y analizar sus datos y utilice una buena higiene de datos. No arrojes basura en tu entrenamiento y esperes que el proceso cree mágicamente un buen modelo.

En tercer lugar, gestiona y observa tu proceso de formación. Hay pruebas que puede aplicar a los datos de entrenamiento si se realiza un reentrenamiento automático, y también puede aplicar técnicas científicas para identificar si su modelo ha sido envenenado, como describí anteriormente. Esta es un área de estudio en desarrollo, así que espere que estas técnicas mejoren con el tiempo, pero ya existen buenas ideas.

Cuarto, prueba tu modelo en la naturaleza. Es realmente difícil detectar el mal comportamiento de la IA generativa, en parte porque el alcance de los casos de uso puede ser muy extenso, pero es importante intentar evaluar y probar modelos en escenarios lo más cercanos posible al mundo real. He escrito algunos artículos sobre la evaluación de LLM y por qué esto es importante: no se salte la evaluación y las pruebas.

Ahora me doy cuenta de que todas estas soluciones tienen algunos costos. La gente usa datos gratuitos o roba la propiedad intelectual de otros porque pagar por todos los datos utilizados en la formación de LLM puede resultar increíblemente caro. No pretendo tener una respuesta a esto, pero "no puedo permitirme esto, así que voy a robarlo" realmente no se sostiene en ninguna otra área de nuestras vidas, así que no creo que debamos empezar a aceptarlo aquí. Las personas de la comunidad más amplia de aprendizaje automático, como Data Provenance Initiative, están explorando opciones para crear conjuntos de datos con licencia y encontrando formas de hacer que los datos estén disponibles, lo cual animo a los lectores a investigar más. Las otras soluciones al envenenamiento de datos también implican trabajo y esfuerzo, pero para desarrollar modelos que satisfagan nuestras necesidades y expectativas, siempre habrá una compensación.

Más allá de esto, siempre existe algún riesgo si no controlas la creación de los datos o el modelo que estás utilizando. Como regla general, nunca confíe ciegamente en los resultados del modelo, sino que evalúe y pruebe los modelos que planea usar, especialmente si alguien más los entrenó. El comportamiento de los modelos es un espacio en disputa: varias entidades tienen un interés personal en controlar cómo los modelos generativos de IA se desempeñan e interactúan con nosotros, por lo que debemos enfrentar los desafíos en consecuencia.

Lea más de mi trabajo en www.stephaniekirmer.com.

Lectura adicional

https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/data-poisoning

https://ieeexplore.ieee.org/abstract/document/11127238

https://iacis.org/iis/2025/4_iis_2025_433-442.pdf

https://www.nature.com/articles/s41591-024-03445-1

https://arxiv.org/pdf/2510.07192

https://arxiv.org/pdf/2406.17216