Los programas de inteligencia artificial, al igual que los humanos que los desarrollan y entrenan, están lejos de ser perfectos. Ya sea un software de aprendizaje automático que analiza imágenes médicas o un chatbot generativo, como ChatGPT, que mantiene una conversación aparentemente orgánica, la tecnología basada en algoritmos puede cometer errores e incluso “alucinar”, o proporcionar información inexacta. Quizás lo más insidioso es que la IA también puede mostrar sesgos que se introducen a través de la enormes cantidades de datos en los que se entrenan estos programas—y que son indetectables para muchos usuarios. Ahora, una nueva investigación sugiere que los usuarios humanos pueden absorber inconscientemente estos sesgos automatizados.
Estudios anteriores han demostrado que la IA sesgada puede dañar a personas de grupos ya marginados. Algunos impactos son sutiles, como La incapacidad del software de reconocimiento de voz. para comprender los acentos no estadounidenses, que podrían resultar incómodos para las personas que utilizan teléfonos inteligentes o asistentes domésticos operados por voz. Luego hay ejemplos más aterradores, incluidos los algoritmos de atención médica. que cometen errores porque solo están entrenados en un subconjunto de personas (como personas blancas, personas de un rango de edad específico o incluso personas con una determinada etapa de una enfermedad), así como prejuicios raciales software de reconocimiento facial policial eso podría aumentar los arrestos injustos de personas negras.
Sin embargo, resolver el problema puede no ser tan simple como ajustar retroactivamente los algoritmos. Una vez que existe un modelo de IA que influye en las personas con sus prejuicios, el daño, en cierto sentido, ya está hecho. Esto se debe a que las personas que interactúan con estos sistemas automatizados podrían estar incorporando inconscientemente el sesgo que encuentran en su propia toma de decisiones futura, como sugiere un estudio de psicología reciente publicado en Informes Científicos. Fundamentalmente, el estudio demuestra que el sesgo introducido en un usuario por un modelo de IA puede persistir en el comportamiento de una persona, incluso después de que deje de usar el programa de IA.
“Ya sabemos que la inteligencia artificial hereda los prejuicios de los humanos”, dice la investigadora principal del nuevo estudio, Helena Matute, psicóloga experimental de la Universidad de Deusto en España. Por ejemplo, cuando la publicación de tecnología Resto del mundo Recientemente analizó generadores de imágenes de IA populares y descubrió que estos programas tendían a estereotipos étnicos y nacionales. Pero Matute busca comprender las interacciones entre la IA y los humanos en la otra dirección. “La pregunta que nos hacemos en nuestro laboratorio es cómo la inteligencia artificial puede influir en las decisiones humanas”, afirma.
En el transcurso de tres experimentos, cada uno con alrededor de 200 participantes únicos, Matute y su co-investigadora, Lucía Vicente de la Universidad de Deusto, simularon una tarea de diagnóstico médico simplificada: pidieron a los participantes no expertos que clasificaran las imágenes como indicativas de la presencia o ausencia. de una enfermedad ficticia. Las imágenes estaban compuestas por puntos de dos colores diferentes y se les dijo a los participantes que estos conjuntos de puntos representaban muestras de tejido. Según los parámetros de la tarea, más puntos de un color significaban un resultado positivo para la enfermedad, mientras que más puntos del otro color significaban que era negativo.
A lo largo de los diferentes experimentos y pruebas, Matute y Vicente ofrecieron a los participantes sugerencias intencionalmente sesgadas que, de seguirse, los llevarían a clasificar imágenes incorrectamente. Los científicos describieron estas sugerencias como provenientes de un “sistema de asistencia al diagnóstico basado en un algoritmo de inteligencia artificial (IA)”, explicaron en un correo electrónico. El grupo de control recibió una serie de imágenes de puntos sin etiquetar para evaluar. Por el contrario, los grupos experimentales recibieron una serie de imágenes de puntos etiquetadas con evaluaciones “positivas” o “negativas” de la IA falsa. En la mayoría de los casos, la etiqueta era correcta, pero en los casos en que el número de puntos de cada color era similar, los investigadores introdujeron un sesgo intencional con respuestas incorrectas. En un grupo experimental, las etiquetas de IA tendían a ofrecer falsos negativos. En un segundo grupo experimental, la tendencia se invirtió hacia los falsos positivos.
Los investigadores descubrieron que los participantes que recibieron sugerencias falsas de IA incorporaron el mismo sesgo en sus decisiones futuras, incluso después de que ya no se les ofreciera la orientación. Por ejemplo, si un participante interactuaba con las sugerencias de falsos positivos, tendía a seguir cometiendo errores de falsos positivos cuando se le daban nuevas imágenes para evaluar. Esta observación fue cierta a pesar de que los grupos de control demostraron que la tarea era fácil de completar correctamente sin la guía de la IA, y a pesar de que el 80 por ciento de los participantes en uno de los experimentos notaron que la “IA” ficticia cometía errores.
Una gran advertencia es que el estudio no involucró a profesionales médicos capacitados ni evaluó ningún software de diagnóstico aprobado, dice Joseph Kvedar, profesor de dermatología en la Facultad de Medicina de Harvard y editor en jefe de npj Medicina Digital. Por lo tanto, señala Kvedar, el estudio tiene implicaciones muy limitadas para los médicos y las herramientas de inteligencia artificial que utilizan. Keith Dreyer, director científico del Instituto de Ciencia de Datos del Colegio Americano de Radiología, está de acuerdo y añade que “la premisa no es consistente con las imágenes médicas”.
Aunque no es un verdadero estudio médico, la investigación ofrece información sobre cómo las personas podrían aprender de los patrones sesgados incorporados inadvertidamente en muchos algoritmos de aprendizaje automático, y sugiere que la IA podría influir para peor en el comportamiento humano. Ignorando el aspecto diagnóstico de la IA falsa en el estudio, dice Kvedar, “el diseño de los experimentos fue casi perfecto” desde un punto de vista psicológico. Tanto Dreyer como Kvedar, ninguno de los cuales participó en el estudio, describen el trabajo como interesante, aunque no sorprendente.
Hay una “verdadera novedad” en el hallazgo de que los humanos podrían continuar implementando el sesgo de una IA al replicarla más allá del alcance de sus interacciones con un modelo de aprendizaje automático, dice Lisa Fazio, profesora asociada de psicología y desarrollo humano en la Universidad de Vanderbilt, quien no participó en el estudio reciente. Para ella, esto sugiere que incluso las interacciones de tiempo limitado con modelos de IA problemáticos o resultados generados por IA pueden tener efectos duraderos.
Consideremos, por ejemplo, el software policial predictivo que Santa Cruz, California, prohibida en 2020. Aunque el departamento de policía de la ciudad ya no utiliza la herramienta algorítmica para determinar dónde desplegar a los agentes, es posible que, después de años de uso, los funcionarios del departamento internalizaran el posible sesgo del softwaredice Celeste Kidd, profesora asistente de psicología en la Universidad de California, Berkeley, que tampoco participó en el nuevo estudio.
Es ampliamente aceptado que las personas también aprenden los prejuicios de fuentes humanas de información. Sin embargo, las consecuencias cuando el contenido o la orientación inexactos provienen de la inteligencia artificial podrían ser aún más graves, afirma Kidd. Anteriormente estudió y escribió sobre las formas únicas en que La IA puede cambiar las creencias humanas. Por un lado, Kidd señala que los modelos de IA fácilmente pueden volverse incluso más sesgados que los humanos. Ella cita una evaluación reciente publicada por Bloomberg que determinó que la IA generativa puede mostrar Sesgos raciales y de género más fuertes. que la gente.
También existe el riesgo de que los humanos atribuyan más objetividad a las herramientas de aprendizaje automático que a otras fuentes. “El grado en que uno está influenciado por una fuente de información está relacionado con qué tan inteligente usted la considera”, dice Kidd. La gente puede atribuir más autoridad a la IA, explica, en parte porque los algoritmos a menudo se comercializan como si se basaran en la suma de todo el conocimiento humano. El nuevo estudio parece respaldar esta idea en un hallazgo secundario: Matute y Vicente señalaron que los participantes que informaron niveles más altos de confianza en la automatización tendían a cometer más errores que imitaban el sesgo de la IA falsa.
Además, a diferencia de los humanos, los algoritmos entregan todos los resultados, sean correctos o no, con aparente “confianza”, dice Kidd. En la comunicación humana directa, las señales sutiles de incertidumbre son importantes para la forma en que entendemos y contextualizamos la información. Una pausa larga, un “um”, un gesto con la mano o un movimiento de ojos pueden indicar que una persona no está del todo segura de lo que está diciendo. Las máquinas no ofrecen tales indicadores. “Este es un problema enorme”, dice Kidd. Señala que algunos desarrolladores de IA están intentando abordar el problema de forma retroactiva agregando señales de incertidumbre, pero es difícil diseñar un sustituto para la realidad.
Kidd y Matute afirman que la falta de transparencia por parte de los desarrolladores de IA sobre cómo se entrenan y construyen sus herramientas dificulta aún más la eliminación del sesgo de IA. Dreyer está de acuerdo y señala que la transparencia es un problema, incluso entre las herramientas médicas de IA aprobadas. Aunque la Administración de Alimentos y Medicamentos regula los programas de aprendizaje automático de diagnóstico, no existe un requisito federal uniforme para la divulgación de datos. El Colegio Americano de Radiología ha sido abogar por una mayor transparencia durante años y dice que todavía es necesario trabajar más. “Necesitamos que los médicos comprendan a un alto nivel cómo funcionan estas herramientas, cómo se desarrollaron, las características de los datos de entrenamiento, cómo funcionan, cómo deben usarse, cuándo no deben usarse y las limitaciones de la herramienta. ”, se lee en un artículo de 2021 publicado en el sitio web de la sociedad de radiología.
Y no se trata sólo de los médicos. Para minimizar los impactos del sesgo de la IA, todo el mundo “necesita tener mucho más conocimiento de cómo funcionan estos sistemas de IA”, afirma Matute. De lo contrario corremos el riesgo de dejar que lo algorítmico”cajas negras” nos impulsan a un ciclo contraproducente en el que la IA conduce a humanos más sesgados, quienes a su vez crean algoritmos cada vez más sesgados. “Me preocupa mucho”, añade Matute, “que estemos iniciando un bucle del que será muy difícil salir”.