Uno de los grandes temores de los tiempos modernos es que los sistemas de IA generativa estén otorgando a actores maliciosos un poder sin precedentes para mentir, manipular y robar en una escala previamente inimaginable y que esto socavará nuestros sistemas de confianza, democracia y sociedad.
Abundan los ejemplos, desde la interferencia electoral hasta la producción masiva de críticas falsas. De hecho, es fácil imaginar que estos son solo una pequeña fracción de la insidiosa actividad que actualmente socava nuestro modo de vida.
La verdad, por supuesto, tiene más matices, pero plantea la cuestión más amplia de cómo comprender mejor estas técnicas maliciosas de IA, dónde se están aplicando, quién las aplica, en qué escala y con qué propósito.
Ahora tenemos una especie de respuesta gracias al trabajo de Nahema Marchal en Google DeepMind y Rachel Xu en Google Jigsaw y sus colegas, quienes han estudiado el mal uso de la IA generativa y la forma en que ha evolucionado en los últimos años. Su enfoque ha revelado una amplia variedad de actividades maliciosas que han categorizado. “Iluminamos patrones clave y novedosos en el mal uso durante este período de tiempo, incluidas las posibles motivaciones, estrategias y cómo los atacantes aprovechan y abusan de las capacidades del sistema”, dicen.
Comunicación emergente
En el proceso, también han descubierto ciertos tipos de actividades que se encuentran en el límite entre el uso aceptable e inaceptable de la IA. “Entre ellas se incluye la aparición de nuevas formas de comunicación para la difusión política, la autopromoción y la defensa de intereses que difuminan las fronteras entre la autenticidad y el engaño”, afirma el equipo.
Su enfoque es sorprendentemente sencillo. Marchal, Xu y sus colegas analizan más de 200 informes de los medios sobre el abuso o uso indebido de los sistemas de inteligencia artificial publicados entre enero de 2023 y marzo de 2024. Luego, clasifican los tipos y patrones de abuso denunciados para crear una taxonomía de las tácticas que emplean los actores maliciosos en su trabajo.
Los tipos de abuso se dividen en dos grandes categorías: aquellos que explotan los sistemas de IA generativa y aquellos que intentan comprometer los mismos sistemas para revelar información protegida o realizar tareas que de otro modo estarían prohibidas, dicen los investigadores.
Luego, subdividen aún más estas categorías. La primera y más común categoría que explota la IA generativa implica representar de manera realista la imagen humana para tareas como la suplantación de identidad, la creación de personalidades sintéticas y la producción de imágenes sexuales no consensuadas. “El grupo de tácticas más frecuente implica la manipulación de la imagen humana, especialmente la suplantación de identidad”, dicen Marchal, Xu y compañía.
Un ejemplo es una historia publicada en PBS News sobre Llamadas automáticas de inteligencia artificial intentan suprimir la votación en New Hampshire haciéndose pasar por el presidente Biden.
La segunda categoría implica la representación realista de objetos no humanos e incluye la falsificación de documentos como documentos de identidad, así como la creación de falsificaciones diseñadas para hacerse pasar por objetos reales.
La última categoría, dicen, se centra en los mecanismos de producción de contenido. Esto incluye la automatización de flujos de trabajo, la producción a gran escala y de formas que puedan dirigirse a individuos específicos. En un ejemplo Los investigadores utilizaron ChatGPT para enviar correos electrónicos masivos a los legisladores para crear conciencia sobre los correos electrónicos generados por IA.
A pesar de la amplia variedad de aplicaciones abusivas, Marchal, Xu y compañía concluyen que la mayoría emplea capacidades de IA generativa de fácil acceso en lugar de capacidades tecnológicamente sofisticadas.
Tal vez lo más interesante sea el surgimiento de nuevas formas de comunicación que difuminan los límites de lo que es y no es un uso aceptable de la IA generativa. Por ejemplo, durante las recientes elecciones en la India, cuando Surgieron avatares políticos que se dirigían a los votantes individuales por su nombre utilizando el idioma que hablaban. y varios políticos utilizaron deepfakes de sí mismos para difundir su mensaje más ampliamente, pero también para presentarse de forma más positiva.
Pocos de estos ejemplos reconocían claramente la forma en que se utilizó la IA generativa en estas campañas. “El cultivo y la promoción de imágenes políticas impulsadas por GenAI sin la divulgación adecuada socavan la confianza pública al dificultar la distinción entre representaciones genuinas y fabricadas”, dicen los investigadores. “Ya estamos viendo casos de dividendos del mentiroso, donde individuos de alto perfil pueden justificar evidencia desfavorable como generada por IA.”
Ampliando la monetización
Además de los intentos de hacerse pasar por humanos y ejercer una influencia indebida, el objetivo más común de los usuarios malintencionados de la IA es monetizar productos. Algunos ejemplos incluyen la generación masiva de artículos, libros y anuncios de baja calidad para atraer la atención y generar ingresos por publicidad.
La producción de imágenes sexuales no consentidas también es un área activa de actividad comercial, por ejemplo, La “nudificación” de las mujeres como servicio pagado.
Por supuesto, la investigación tiene algunas limitaciones que los investigadores se esfuerzan por destacar. Por ejemplo, se basa completamente en informes de los medios de comunicación sobre actividades maliciosas en línea, un enfoque que puede introducir sesgos. Por ejemplo, los medios tienden a centrarse en los ejemplos más escandalosos, lo que puede sobrestimar ciertos tipos de actividades sensacionalistas mientras subestiman otras actividades que son menos llamativas pero igualmente insidiosas.
Pero Marchal, Xu y compañía hacen un importante comienzo en el estudio del ecosistema de usos maliciosos de la IA generativa. Su trabajo plantea importantes preguntas sobre las consecuencias de largo alcance de esta actividad y cómo está alterando la naturaleza de la comunicación y de la sociedad misma.
El equipo no intenta caracterizar la tasa de cambio, pero no es difícil imaginar cómo el impacto de estas actividades podría crecer exponencialmente. Los seres humanos no son buenos para imaginar las consecuencias del cambio exponencial, lo que hace que este sea un tema de gran preocupación pública.
“Estos hallazgos subrayan la necesidad de adoptar un enfoque multifacético para mitigar el uso indebido de GenAI, que implique la colaboración entre los responsables de las políticas, los investigadores, los líderes de la industria y la sociedad civil”, concluyen Marchal, Xu y compañía. Cuanto antes, mejor.
Ref.: Uso indebido de la IA generativa: una taxonomía de tácticas y conocimientos a partir de datos del mundo real: arxiv.org/abs/2406.13843