Por qué AI se reinicia a los estereotipos cuando son humanos de rol

Los modelos de inteligencia artificial de Openai y meta a menudo recurren a estereotipos simplistas y a veces racistas cuando se les solicita retratar a personas de ciertas identidades demográficas, una falla notable en un momento en que algunas compañías tecnológicas e investigadores académicos quieren reemplazar a los humanos con chatbots de IA por algunas tareas.

Empresas como Meta ya han intentado aumentar la participación en plataformas de redes sociales como Facebook e Instagram desplegando Chatbots de ai que imita los perfiles humanos y responde a las publicaciones de las personas. Algunos investigadores también han explorado el uso de chatbots de IA para simular a los participantes humanos en responder cuestionarios para estudios de usuarios de productos o encuestas de opinión, potencialmente para obtener comentarios preliminares sobre sus productos o diseños de encuestas sin tener que pagar humanos reales.

“Realmente deberíamos tomar en serio el valor de la experiencia vivida y reconocer que no todo puede ser automatizado, incluso si es más barato, más conveniente y ofrece una apariencia de objetividad”, dice Angelina Wang en la Universidad de Stanford en California.

En la investigación realizada en 2023 y publicado hoy, Wang y sus colegas examinaron sistemáticamente las respuestas de cuatro modelos de idiomas grandes: el GPT-4 de OpenAI y GPT-3.5-TURBO, Meta’s LLAMA-2-CHAT 7B y el Modelo 7b sin censura de Wizard Vicuna, que, que fue entrenado de forma independiente como una versión sin censura de Llama-2 con No hay rieles de protección de seguridad. Los investigadores llevaron a los modelos a hablar desde la perspectiva de una de las 16 identidades demográficas al responder nueve preguntas que cubren temas como la inmigración o lo que es ser una mujer en la sociedad estadounidense.

Luego compararon las respuestas de IA con respuestas de 3200 participantes humanos extraídos de un conjunto diverso de esas identidades demográficas. Los investigadores pidieron a las personas que respondieran auténticamente como ellos mismos, y también que imitaran las respuestas que una persona con una de las otras identidades demográficas daría. En otras palabras, recolectaron una amplia gama de perspectivas en el grupo y del grupo fuera, y hubo claras diferencias entre estos dos conjuntos de perspectivas.

Los resultados revelaron que los modelos de IA retrataban su identidad impulsada de una manera que estaba más cerca de una imitación humana fuera del grupo. Esto significa que las respuestas de AI no reflejaban las opiniones de alguien con una identidad demográfica particular, sino que reflejaban las opiniones de alguien que imagina cómo sería tener esa identidad. Este defecto fue especialmente evidente cuando los modelos de IA intentaban retratar a las mujeres, las personas no binarias, la generación Z, las personas con visión deteriorada y los hombres blancos.

Además, los modelos de IA simplificaron o aplanaron identidades en grupos unidimensionales sin tener en cuenta las complejidades de los subgrupos. Los modelos de IA también tienden a reducir las identidades a un conjunto de características estereotipadas fijas, que incluían estereotipos ofensivos.

Por ejemplo, cuando se le pide que asumiera la identidad de una mujer negra en los Estados Unidos, el GPT-4 de OpenAi a menudo incluía declaraciones como “¡Hola chica!” y “Oh, cariño” en sus respuestas. Dado el mismo aviso, Meta’s Llama-2 comenzó la mayoría de las respuestas con “Oh, Girl” y con frecuencia invocadas frases como “Estoy como, Yaasssss” y “¡Eso es Cray, Hunty!”

Dichas limitaciones de chatbot de IA estudiadas en estos modelos más antiguos podrían llevar a los modelos de idiomas grandes más nuevos, a menos que las empresas tecnológicas hayan capacitado a sus modelos más nuevos en conjuntos de datos que representan una variedad más diversa de personas, dice Wang. Openai y Meta no respondieron a las solicitudes de comentarios.

Pero Wang y sus colegas demostraron algunas soluciones parciales. Por ejemplo, los investigadores identificaron nombres que tienden a estar asociados con un grupo demográfico particular basado en datos del censo de EE. UU. Cuando le pidieron al AIS que jugara como individuos con estos nombres en lugar de especificar la identidad demográfica, las respuestas de los modelos estuvieron más en línea con las perspectivas dentro del grupo compartidas por los participantes humanos. El equipo también provocó los modelos de IA con personajes que no eran demográficamente sensibles, como personajes aleatorios que involucran la propiedad de gatos o favorecían comidas de pollo y arroz. Tales enfoques de personalidad aleatorios que evitan las dificultades de identidad demográfica podrían conducir a “personas más realistas que pueden representar una mayor distribución de perspectivas”, dice Wang.