Un enfoque único probablemente no sea la mejor estrategia al diseñar sistemas de inteligencia artificial que ayuden a los usuarios en el diagnóstico de enfermedades.
Un nuevo estudio realizado por investigadores del MIT y de otros lugares encontró que, si bien la asistencia de la IA generalmente mejoraba la precisión de los médicos y no expertos en el diagnóstico de enfermedades de la piel, los métodos de explicabilidad de la IA tenían diferentes impactos según el nivel de conocimiento de los usuarios.
Los métodos de IA explicables ayudan a los usuarios a saber cuándo confiar en las predicciones de un modelo al describir o validar la toma de decisiones del modelo. Por ejemplo, un modelo podría usar un mapa de calor para resaltar las regiones de la imagen que fueron más importantes en su diagnóstico o un modelo de lenguaje grande (LLM) para explicar la predicción en lenguaje sencillo.
En este estudio, los investigadores probaron a no expertos y a proveedores de atención primaria en el diagnóstico de enfermedades de la piel, con y sin la ayuda de diferentes sistemas de IA explicables.
Descubrieron que la precisión del diagnóstico de los no expertos mejoró, pero esto se debió en gran medida a la deferencia hacia el sistema de inteligencia artificial. Los no expertos confiaron en las explicaciones basadas en LLM, ya fueran correctas o incorrectas, y encontraron explicaciones más convincentes cuando eran vagas o genéricas.
Por el contrario, los médicos no se vieron engañados por una asistencia incorrecta de la IA y obtuvieron mejores resultados cuando solo se les dio la predicción de un modelo, sin explicación alguna.
“Los buenos sistemas de IA pueden mejorar el rendimiento en algunos entornos de salud, pero esto debe equilibrarse cuidadosamente con una deferencia algorítmica que puede conducir a más errores. Sabemos que tanto la IA como los métodos de explicabilidad pueden provocar un sesgo de automatización en los humanos, y este efecto de anclaje es algo que debe tenerse en cuenta cuando diseñamos sistemas de IA”, dice Marzyeh Ghassemi, profesor asociado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT, miembro del Instituto de Ingeniería y Ciencias Médicas e investigador principal del Laboratorio de Información y Decisión. Systems y la Clínica Abdul Latif Jameel de Aprendizaje Automático en Salud.
“Estos hallazgos son importantes a medida que los pacientes recurren cada vez más a la IA para ayudar con su atención médica. Nuestros hallazgos muestran que aquellos con menos conocimientos médicos tienen más probabilidades de extraviarse cuando los modelos de IA explicables dan resultados erróneos”, dice Roxana Daneshjou, coautora y profesora asistente de ciencia de datos biomédicos y dermatología en la Universidad de Stanford.
Según los investigadores, estos resultados subrayan la importancia de construir sistemas de IA teniendo en cuenta a los usuarios y de desarrollar métodos de explicabilidad que fomenten el pensamiento crítico en lugar de una dependencia excesiva del modelo.
“Se está volviendo obvio que no podemos simplemente asumir que una buena IA resolverá todos los problemas. Necesitamos prestar cuidadosa atención a los usuarios que usarán el sistema de IA, porque la misma explicación puede ayudar a un experto y engañar a un principiante. A menudo, las personas que podrían beneficiarse más de la IA son las que tienen más probabilidades de ser desviadas por ella, por lo que la forma en que presentamos una recomendación importa tanto como si es correcta”, dice el autor principal Orson Xu, profesor asistente en el Departamento de Informática Biomédica de la Universidad de Columbia.
A Ghassemi, Xu y Daneshjou se unen en el artículo muchos autores, incluido el estudiante graduado del MIT Haoran Zhang, la estudiante universitaria Reina Wang y Luis Soenksen PhD ’20, un afiliado de investigación de la Clínica Jameel, junto con médicos e investigadores. Una descripción del trabajo aparece hoy en Nature Medicine.
Explorando explicaciones
Se están utilizando varias interfaces de IA aprobadas por la FDA para ayudar a los médicos a identificar afecciones de la piel en imágenes médicas, como una forma de agilizar el diagnóstico temprano. Además de proporcionar una predicción de si hay enfermedad presente en la imagen, estas herramientas suelen utilizar uno de varios métodos que explican la toma de decisiones del modelo.
Al mismo tiempo, los no expertos pueden realizar diagnósticos digitales por su cuenta utilizando motores de búsqueda impulsados por inteligencia artificial que predicen enfermedades de la piel según las indicaciones de los usuarios. Estos sistemas suelen utilizar LLM para explicar la predicción del modelo en términos más simples.
Los investigadores exploraron los efectos y los beneficios potenciales de estas herramientas de IA explicables en médicos de atención primaria y no expertos en la detección de enfermedades dermatológicas. Probaron a los usuarios mostrándoles imágenes médicas más una predicción de enfermedades de la piel mediante IA, empleando diferentes enfoques de IA explicables.
Estos enfoques incluyeron: una predicción de IA y un nivel de confianza sin explicación, un método que proporciona imágenes similares para reforzar su predicción, un enfoque basado en mapas de calor que resalta regiones importantes de la imagen y un LLM que explica el razonamiento del modelo en un lenguaje sencillo.
A los no expertos se les encomendó la tarea de decidir si la imagen de un lunar en la piel era cancerosa, con y sin la ayuda de una IA explicable. A los médicos se les asignó la tarea más desafiante de proporcionar un diagnóstico diferencial de las enfermedades dermatológicas.
Los investigadores descubrieron que todos los enfoques explicables de IA mejoraron la precisión de los no expertos, principalmente porque las herramientas ayudaron a los usuarios a diagnosticar lunares no cancerosos.
Además, cuando emplearon un modelo de equidad restringida diseñado para combatir el sesgo contra los tonos de piel más oscuros, el sistema mejoró significativamente la precisión y redujo las disparidades de diagnóstico basadas en el tono de piel.
“Pero la razón por la que los usuarios no expertos son mejores es porque dependen más de los modelos. Cuando el modelo es incorrecto, perjudica más el rendimiento que lo ayuda cuando el modelo es correcto. Simplemente pudimos entrenar modelos de IA muy buenos para esta configuración”, afirma Ghassemi.
Este efecto de deferencia es mayor con las explicaciones de un LLM, y los usuarios tenían más confianza en sus respuestas incorrectas cuando recibían la ayuda de un LLM.
Por otro lado, los médicos fueron resistentes a las explicaciones incorrectas de la IA y, de todos los métodos de explicabilidad, los LLM son los que menos aumentan su precisión.
“Realmente todo se reduce a cómo cada grupo usa la explicación. Un médico ya tiene un diagnóstico en mente y compara la IA con su propio entrenamiento, por lo que se detecta una mala explicación. Mientras tanto, un no experto puede usar exactamente esa misma explicación para formarse una opinión en primer lugar, por lo que una justificación plausible y que suene segura puede llevarlos hacia la respuesta equivocada. La misma herramienta termina siendo una ventaja para un usuario y una desventaja para otro”, dice Xu.
Superar el efecto de deferencia
Cuando los investigadores profundizaron más, descubrieron que los usuarios que eran más deferentes con la asistencia de la IA eran los que peor se desempeñaban en la tarea sin la ayuda de la IA.
También descubrieron que el momento en que a los usuarios se les presentaban explicaciones de IA influía en su comportamiento. Si se da una explicación primero, antes de que el usuario pueda realizar el diagnóstico por sí solo, tiende a volverse más deferente con el modelo.
Además, los sistemas de IA superaron a los humanos cuando la presentación de la enfermedad era sutil, pero los humanos se desempeñaron mucho mejor si hay síntomas atípicos o características no relacionadas en una imagen.
En conjunto, estos resultados indican que la IA explicable puede provocar una dependencia excesiva de los modelos y llevar a los usuarios a seguir ciegamente las recomendaciones de la IA incluso cuando son incorrectas.
En lugar de utilizar los LLM para generar explicaciones más detalladas, podría ser más eficaz obligar a los usuarios a dar primero una hipótesis de diagnóstico y luego proporcionar una sugerencia basada en IA para resaltar otras posibles condiciones a considerar.
“Realmente queremos que la IA mejore la creatividad y mejore las habilidades o llene los vacíos donde los usuarios pierden presentaciones sutiles. De lo contrario, corremos el riesgo de generar un sesgo de automatización y luego, cuando el modelo es incorrecto, los usuarios no pueden recuperarse”, dice Ghassemi.
Esta investigación fue financiada, en parte, por la Fundación Nacional de Ciencias, Schmidt Sciences, la Oficina Nacional de Investigación Económica y la Universidad de Columbia.