Sei 194781954.jpg

Cientos de millones de personas ya utilizan chatbots comerciales de IA

Ju Jae-young/Shutterstock

Los chatbots comerciales de IA demuestran prejuicios raciales hacia los hablantes de inglés afroamericano, a pesar de expresar sentimientos superficialmente positivos hacia los afroamericanos. Este sesgo oculto podría influir en las decisiones de la IA sobre la empleabilidad y la criminalidad de una persona.

“Descubrimos una forma de racismo encubierto en [large language models] «Esto se desencadena únicamente por características dialectales, con daños masivos para los grupos afectados», dijo Valentin Hofmann en el Instituto Allen de IA, una organización de investigación sin fines de lucro en el estado de Washington, en un publicación en redes sociales. «Por ejemplo, es más probable que GPT-4 sugiera que los acusados ​​sean condenados a muerte cuando hablan inglés afroamericano».

Hofmann y sus colegas descubrieron ese prejuicio encubierto en una docena de versiones de grandes modelos de lenguaje, incluidos GPT-4 y GPT-3.5 de OpenAI, que impulsan los chatbots comerciales que ya utilizan cientos de millones de personas. OpenAI no respondió a las solicitudes de comentarios.

Los investigadores primero alimentaron a las IA con texto en el estilo de inglés afroamericano o inglés americano estándar, luego pidieron a los modelos que comentaran sobre los autores de los textos. Los modelos caracterizaron a los angloparlantes afroamericanos utilizando términos asociados con estereotipos negativos. En el caso de GPT-4, los calificó de “sospechosos”, “agresivos”, “ruidosos”, “groseros” e “ignorantes”.

Sin embargo, cuando se les pidió que comentaran sobre los afroamericanos en general, los modelos de lenguaje generalmente usaron términos más positivos como «apasionado», «inteligente», «ambicioso», «artístico» y «brillante». Esto sugiere que el prejuicio racial de los modelos suele estar oculto detrás de lo que los investigadores describen como una muestra superficial de sentimiento positivo.

Los investigadores también mostraron cómo los prejuicios encubiertos influyeron en los juicios de los chatbots sobre las personas en escenarios hipotéticos. Cuando se les pidió que relacionaran a los angloparlantes afroamericanos con trabajos, las IA tenían menos probabilidades de asociarlos con algún empleo, en comparación con los angloparlantes estadounidenses estándar. Cuando las IA los emparejaron con trabajos, tendieron a asignar roles que no requerían títulos universitarios o estaban relacionados con la música y el entretenimiento. Las IA también tenían más probabilidades de condenar a los afroamericanos angloparlantes acusados ​​de delitos no especificados y de asignar la pena de muerte a los afroamericanos angloparlantes condenados por asesinato en primer grado.

Los investigadores incluso demostraron que los sistemas de IA más grandes demostraban un prejuicio más encubierto contra los afroamericanos angloparlantes que los modelos más pequeños. Esto se hace eco de investigaciones anteriores que muestran cómo conjuntos de datos de entrenamiento de IA más grandes puede producir resultados aún más racistas.

Los experimentos plantean serias dudas sobre la eficacia del entrenamiento en seguridad de la IA, donde grandes modelos de lenguaje reciben retroalimentación humana para refinar sus respuestas y eliminar problemas como el sesgo. Esta formación puede reducir superficialmente los signos evidentes de prejuicio racial sin eliminar «los prejuicios encubiertos cuando no se mencionan términos de identidad», dice Yong Zheng Xin de la Universidad de Brown en Rhode Island, que no participó en el estudio. «Revela las limitaciones de la evaluación de seguridad actual de grandes modelos lingüísticos antes de su publicación pública por parte de las empresas», afirma.

Temas: