Un nuevo estudio del MIT ha arrojado una piedra bastante grande a este estanque de IA, provocando que en el agua murmure una pregunta incómoda: ¿qué pasa si las personas que más necesitan información de calidad son las que menos reciben servicios de IA?
El estudio concluyó que los chatbots de IA ampliamente utilizados a menudo brindan información menos precisa o menos útil a los usuarios que se consideran más vulnerables, incluidos los hablantes no nativos de inglés y aquellos con niveles más bajos de educación formal.
El estudio, publicado en un informe del MIT, tiene un poco más de matices de lo que sugieren todos esos brillantes folletos sobre IA.
Básicamente, los investigadores sometieron a un puñado de chatbots populares a una especie de prueba de estrés alterando la forma en que se formulaban las preguntas (gramaticalmente, lingüísticamente, con pistas sobre el nivel educativo del usuario) y ¡voilà!
Los chatbots respondieron con peores respuestas cuando la gramática y el lenguaje eran peores. Como una versión digital de no juzgar un libro por su portada.
Casi puedo escuchar a un usuario frustrado pensar: “¡Pero pregunté lo mismo! ¿Por qué obtuve una respuesta peor?”. Entonces no es un error menor. Un gran problema de equidad.
Obviamente, el problema de la IA sesgada no es nuevo: el Instituto Nacional de Estándares y Tecnología ya ha dicho que la IA puede “exacerbar los sesgos sociales presentes en los datos utilizados para entrenar estos sistemas” si no se gestiona y mitiga adecuadamente, según el Marco de Gestión de Riesgos de IA del NIST, pero otra cosa es cuantificarlo.
En realidad, es parte de una conversación global en este momento sobre el sesgo algorítmico: el Foro Económico Mundial ha señalado la equidad y la inclusión como desafíos clave para una IA confiable, diciendo que “la necesidad de resultados equitativos a partir de la toma de decisiones impulsada por la IA es uno de los problemas más importantes” que enfrenta la confiabilidad de la IA.
Eso tiene sentido: cuando los chatbots de IA se convierten en la principal puerta de entrada a información sobre todo, desde salud hasta derecho y educación, el servicio desigual no sólo es frustrante. Es potencialmente dañino.
Y este no es un problema teórico: el uso de la IA se está expandiendo rápidamente. Según un informe reciente de Associated Press, tanto los gobiernos como las empresas privadas se están apresurando a incorporar la IA en las aulas, los servicios gubernamentales y los lugares de trabajo.
Entonces, si los chatbots de IA parecen no poder manejar la equidad en un laboratorio, ¿qué sucede cuando están en todas partes? No es una pregunta retórica. Es un titular futuro.
Obviamente, hay un aspecto de la vida real en esto que lo hace aún más complicado… y humano. He hablado con suficientes profesores, estudiantes y propietarios de pequeñas empresas hasta este momento para saber que no están interactuando con la IA en un laboratorio.
Llegan a casa exhaustos y escriben en sus teléfonos en la oscuridad. A veces el inglés es su segundo o tercer idioma. Y si un chatbot con inteligencia artificial les ofrece silenciosamente información más deficiente debido a ello, solo servirá para profundizar el tipo de desigualdades que se supone que la tecnología debe borrar.
Lo cual es una ironía un tanto dolorosa. Los investigadores del MIT no piden aquí un pánico generalizado. Piden ajustes: mejores pruebas, datos más inclusivos y que los desarrolladores asuman más responsabilidad.
En otras palabras, hazlo bien antes de escalar. Algunas empresas ya se han comprometido a abordar más el sesgo de la IA, pero los compromisos son fáciles. Realmente hacerlo es difícil. Entonces, ¿dónde nos deja eso?
Probablemente en un lugar de mesurada sobriedad, creo. La IA es una herramienta poderosa, sí. Muchas veces es útil, sí. Pero no es justo por diseño, y suponer que lo es puede ser una forma de ilusión.
Si estas herramientas van a convertirse en la forma en que miles de millones de personas interactúan con la información, deben funcionar tan bien para la persona que escribe un inglés académico impecable como para el adolescente que escribe una pregunta mal escrita y destrozada a las 2 de la madrugada.
Porque, en última instancia, la equidad en la IA no es una abstracción política. Se trata de quién recibe un micrófono y quién se queda en la oscuridad.