Desde chatGPT hasta Difusión Estable, la Inteligencia Artificial (IA) está teniendo un verano como el que sólo rivaliza con los días de apogeo de la IA en el mundo. década de 1970. Este júbilo, sin embargo, no se ha encontrado sin resistencia. De hollywood hacia Lumbrerala IA parece haber despertado a un gigante dormido, un gigante deseoso de proteger un mundo que alguna vez pareció exclusivamente humano: la creatividad.

Para quienes desean proteger la creatividad, la IA parece tener un talón de Aquiles: los datos de entrenamiento. En efecto, todos los mejores modelos hoy Se necesita una dieta de datos de alta calidad que abarque todo el mundo, pero ¿qué significa eso?

Primero, alta calidad significa creación humana. A pesar de no creado por humanos Los datos han avanzado mucho desde que la idea de que una computadora jugara sola fue popularizada por Juegos de guerrala literatura sobre informática ha demostrado que la calidad del modelo se degrada con el tiempo si se saca completamente a la humanidad del circuito (es decir, el modelo se pudre o se pudre). colapso del modelo). En términos simples: los datos humanos son el alma de estos modelos.

Segundo, abarcar el mundo significa abarcar el mundo. Si lo pones en línea, debes asumir que el modelo lo ha usado en el entrenamiento: esa publicación de Myspace que esperabas que sólo tú y Tom recordaran (ingieran), esa memoria-encapsulada-en-imagen Con mucho gusto lo olvidaste hasta que PimEyes te obligó a recordarlo (ingerido), y esas diatribas nocturnas de Reddit que esperabas que fueran solo un sueño (ingerido).

Modelos como LLaMa, BERT, Stable Diffusion, Claude y chatGPT se entrenaron con cantidades masivas de datos creados por humanos. Y lo que es único en algunas, muchas o la mayoría de las expresiones creadas por humanos (especialmente aquellas que están fijadas en un medio tangible al que una computadora puede acceder y aprender) es que califican para la protección de derechos de autor.

Por fortuito que sea, los datos sin los que estos modelos no pueden sobrevivir son los mismos datos más protegidos por derechos de autor. Y esto da lugar a las titánicas batallas por derechos de autor que estamos viendo hoy.

De las muchas preguntas que surgen en estas demandas, una de las más apremiantes es si los propios modelos almacenan contenido protegido. Esta pregunta parece bastante obvia, porque ¿cómo podemos decir que los modelos –simplemente colecciones de números (es decir, pesos) con una arquitectura– “almacenan” algo? Como afirma el profesor Murray:

Muchos de los participantes en el debate actual sobre los sistemas de IA generativa visual se han aferrado a la idea de que los sistemas de IA generativa han sido entrenados en conjuntos de datos y modelos básicos que contenían archivos de imágenes reales con derechos de autor, archivos .jpg, .gif, .png y similares. extraído de Internet, que de alguna manera el conjunto de datos o el modelo de base debe haber hecho y almacenado copias de estos trabajos, y de alguna manera el sistema generativo de IA seleccionó y copió imágenes individuales de ese conjunto de datos, y de alguna manera el sistema copió e incorporó importantes partes sujetas a derechos de autor de imágenes individuales en las imágenes finales generadas que se ofrecen al usuario final. Este es un pensamiento mágico.

Michael D. Murray, 26 SMU Science and Technology Law Review 259, 281 (2023)

Y, sin embargo, los propios modelos parecen, en algunas circunstancias, memorizar datos de entrenamiento.

El siguiente ejemplo de juguete es de un Espacio Gradio en HuggingFace lo que permite a los usuarios elegir un modelo, ver un resultado y verificar, a partir de los datos de entrenamiento de ese modelo, qué tan similar es la imagen generada a cualquier imagen en sus datos de entrenamiento. Los dígitos MNIST se utilizaron para generar porque son fáciles de analizar para la máquina, fáciles de interpretar para los humanos en términos de similitud y tienen la buena propiedad de clasificarse fácilmente, lo que permite una búsqueda de similitud para considerar solo imágenes que son iguales. número (aumentos de eficiencia).

¡Vamos a ver cómo funciona!

La siguiente imagen tiene una puntuación de similitud de .00039. RMSE significa Error cuadrático medio y es una forma de evaluar la similitud entre dos imágenes. Es cierto que existen muchos otros métodos para evaluar la similitud, pero RMSE le da una idea bastante clara de si una imagen es un duplicado o no (es decir, no estamos buscando una definición legal de similitud aquí). Como ejemplo, un RMSE de <.006 lo coloca en el rango de casi "copia", y un RMSE de <.0009 ingresa al territorio de copia perfecta (indistinguible a simple vista).

Usar el espacio gradiosigue estos tres pasos (opcionalmente construye el espacio si es para dormir):

• PASO 1: seleccione el tipo de modelo previamente entrenado que desea utilizar
• PASO 2: Presione «enviar» y el modelo generará una imagen para usted (una imagen en escala de grises de 28×28)
• PASO 3: La aplicación Gradio busca en los datos de entrenamiento de ese modelo para identificar la imagen más similar a la imagen generada (de 60.000 ejemplos)

Como es fácil de ver, la imagen generada a la izquierda (creación de IA) es casi una copia exacta de los datos de entrenamiento a la derecha cuando se utiliza el modelo “FASHION-diffusion-oneImage”. Y esto tiene sentido. Este modelo fue entrenado en solo una sola imagen del Conjunto de datos de MODA. Lo mismo ocurre con el modelo “MNIST-diffusion-oneImage”.

Dicho esto, incluso los modelos entrenados con más imágenes (por ejemplo, imágenes de 300, 3K o 60K) pueden producir resultados inquietantemente similares. Este ejemplo proviene de una Red Generativa Adversarial (GAN) entrenada en el conjunto de datos de imágenes completo de 60K (solo entrenamiento) de Dígitos dibujados a mano del MNIST. Como antecedente, se sabe que las GAN producen generaciones menos memorizadas que los modelos de difusión:

Aquí hay otro con un modelo de difusión entrenado en el conjunto de datos MNIST de 60K (es decir, el tipo de modelo que impulsa la difusión estable):

Siéntete libre de jugar con el Gradio espacio usted mismoinvestigue los modelos o comuníquese conmigo si tiene preguntas.

Resumen: El objetivo de este pequeño ejemplo de juguete es que no hay nada místico o que anule absolutamente los derechos de autor en los modelos de aprendizaje automático. Los modelos de aprendizaje automático pueden producir, y de hecho lo hacen, imágenes que son copias de sus datos de entrenamiento; en otras palabras, los modelos pueden y lo hacen. almacenar contenido protegido y, por lo tanto, puede tener problemas de derechos de autor. Es cierto que aquí se pueden presentar muchos contraargumentos (¡mi trabajo en progreso!); Esta demostración solo debe tomarse como evidencia anecdótica del almacenamiento y posiblemente como un canario para los desarrolladores que trabajan en este espacio.

Lo que entra en un modelo es tan importante como lo que sale, y esto es especialmente cierto para ciertos modelos que realizan determinadas tareas. Necesitamos ser cuidadosos y conscientes de nuestras “cajas traseras” porque esta analogía a menudo resulta no ser cierta. El hecho de que no pueda interpretar por sí mismo el conjunto de pesos de un modelo no significa que escape a todas las formas de responsabilidad o escrutinio.

— @nathanReitinge¡Estén atentos para más trabajos en este espacio!