Desde un artículo en Elección pública por Fabio Motoki, Valdemar Pinho Neto y Víctor Rodrigues:
Investigamos el sesgo político de un modelo de lenguaje grande (LLM), ChatGPT, que se ha vuelto popular para recuperar información objetiva y generar contenido. Aunque ChatGPT asegura que es imparcial, la literatura sugiere que los LLM exhiben prejuicios que involucran raza, género, religión y orientación política. El sesgo político en los LLM puede tener consecuencias políticas y electorales adversas similares al sesgo de los medios tradicionales y sociales. Además, los prejuicios políticos pueden ser más difíciles de detectar y erradicar que los prejuicios raciales o de género.
Proponemos un diseño empírico novedoso para inferir si ChatGPT tiene sesgos políticos solicitándole que se haga pasar por alguien de un lado determinado del espectro político y comparando estas respuestas con sus respuestas predeterminadas. También proponemos pruebas de robustez de alineación dosis-respuesta, placebo y profesión-política. Para reducir las preocupaciones sobre la aleatoriedad del texto generado, recopilamos respuestas a las mismas preguntas 100 veces, con un orden de preguntas aleatorio en cada ronda.
Encontramos pruebas sólidas de que ChatGPT presenta un sesgo político significativo y sistemático hacia los demócratas en Estados Unidos, Lula en Brasil y el Partido Laborista en el Reino Unido. Estos resultados se traducen en preocupaciones reales de que ChatGPT, y los LLM en general, puedan ampliar o incluso amplificar los desafíos existentes que involucran los procesos políticos planteados por Internet y las redes sociales. Nuestros hallazgos tienen implicaciones importantes para los responsables políticos, los medios de comunicación, la política y las partes interesadas del mundo académico.