22 de noviembre de 2023
3 lectura mínima
Un nuevo estudio ha descubierto que el uso de herramientas de inteligencia artificial como ChatGPT en el lugar de trabajo afianza un lenguaje sesgado basado en el género.
La inteligencia artificial generativa se ha promocionado como una herramienta valiosa en el lugar de trabajo. Las estimaciones sugieren que podría aumentar el crecimiento de la productividad en un 1,5 por ciento en la próxima década e impulsar el producto interno bruto mundial en un 7 por ciento durante el mismo período. Pero un nuevo estudio advierte que sólo debe usarse con un cuidadoso escrutinio, porque su producción discrimina a las mujeres.
Los investigadores pidieron a dos chatbots de modelo de lenguaje grande (LLM), ChatGPT y Alpaca, un modelo desarrollado por la Universidad de Stanford, que elaboraran cartas de recomendación para empleados hipotéticos. En un artículo compartido en el servidor de preimpresión arXiv.org, los autores analizaron cómo los LLM usó un lenguaje muy diferente describir trabajadores y trabajadoras imaginarios.
“Observamos importantes sesgos de género en las cartas de recomendación”, dice el coautor del artículo Yixin Wan, científico informático de la Universidad de California en Los Ángeles. Si bien ChatGPT utilizó sustantivos como “experto” e “integridad” para los hombres, era más probable que llamara a las mujeres “belleza” o “delicia”. Alpaca tenía problemas similares: los hombres eran “oyentes” y “pensadores”, mientras que las mujeres tenían “gracia” y “belleza”. Los adjetivos resultaron igualmente polarizados. Los hombres eran “respetuosos”, “reputados” y “auténticos”, según ChatGPT, mientras que las mujeres eran “deslumbrantes”, “cálidas” y “emocionales”. Ni OpenAI ni Stanford respondieron de inmediato a las solicitudes de comentarios de Científico americano.
Los problemas encontrados cuando se utiliza la inteligencia artificial en un contexto profesional reflejan situaciones similares con generaciones anteriores de IA. En 2018 Reuters informó que Amazon había disuelto un equipo que había trabajado desde 2014 para intentar desarrollar una herramienta de revisión de currículum impulsada por inteligencia artificial. La empresa descartó este proyecto después de darse cuenta de que cualquier mención de “mujeres” en un documento provocaría que el programa de IA penalizara a ese solicitante. La discriminación surgió porque el sistema se basó en datos de la empresa, que históricamente había empleado principalmente hombres.
Los resultados del nuevo estudio “no me sorprenden mucho”, dice Alex Hanna, director de investigación del Distributed AI Research Institute, un grupo de investigación independiente que analiza los daños de la IA. Los datos de capacitación utilizados para desarrollar LLM a menudo están sesgados porque se basan en registros escritos del pasado de la humanidad, muchos de los cuales históricamente han representado a los hombres como trabajadores activos y a las mujeres como objetos pasivos. La situación se ve agravada por el hecho de que los LLM se capacitan con datos de Internet, donde pasan más tiempo que mujeres: a nivel mundial, El 69 por ciento de los hombres utilizan Internet.en comparación con el 63 por ciento de las mujeres, según la Unión Internacional de Telecomunicaciones de las Naciones Unidas.
Solucionar el problema no es sencillo. “No creo que sea probable que realmente se pueda desviar el conjunto de datos”, dice Hanna. “Es necesario reconocer cuáles son estos sesgos y luego tener algún tipo de mecanismo para capturarlos”. Una opción, sugiere Hanna, es entrenar el modelo para restar importancia a los resultados sesgados mediante una intervención llamada aprendizaje por refuerzo. OpenAI ha trabajado para frenar las tendencias sesgadas de ChatGPT, dice Hanna, pero “hay que saber que estos serán problemas perennes”.
Todo esto importa porque las mujeres ya se han enfrentado desde hace mucho tiempo sesgos inherentes en los negocios y el lugar de trabajo. Por ejemplo, las mujeres a menudo tienen que andar de puntillas en la comunicación en el lugar de trabajo porque sus palabras son juzgadas con más dureza que las de sus colegas masculinos, según a un estudio de 2022. Y por supuesto, las mujeres ganan 83 centavos por cada dólar que gana un hombre. Las plataformas de IA generativa están “propagando esos sesgos”, afirma Wan. Entonces, a medida que esta tecnología se vuelve más ubicua en el mundo laboral, existe la posibilidad de que el problema se arraigue aún más.
“Doy la bienvenida a investigaciones como ésta que exploran cómo funcionan estos sistemas y sus riesgos y falacias”, dice Gem Dale, profesora de recursos humanos en la Universidad John Moores de Liverpool en Inglaterra. “Es a través de esta comprensión que aprenderemos los problemas y luego podremos comenzar a abordarlos”.
Dale dice que cualquiera que esté pensando en utilizar chatbots de IA generativa en el lugar de trabajo debería tener cuidado con estos problemas. “Si la gente usa estos sistemas sin rigor, como en las cartas de recomendación de esta investigación, simplemente estamos enviando el problema de regreso al mundo y perpetuándolo”, dice. “Es un tema que me gustaría que las empresas de tecnología abordaran en los LLM. Será interesante saber si lo harán o no”.