Una nueva investigación propone un sistema para determinar la precisión relativa de la IA predictiva en un entorno médico hipotético y cuándo el sistema debería remitirse a un médico humano.
La inteligencia artificial (IA) tiene un gran potencial para mejorar la forma en que trabajan las personas en una variedad de industrias. Pero para integrar las herramientas de IA en el lugar de trabajo de forma segura y responsable, necesitamos desarrollar métodos más sólidos para comprender cuándo pueden resultar más útiles.
Entonces, ¿cuándo es más precisa la IA y cuándo lo es un ser humano? Esta pregunta es particularmente importante en el ámbito de la atención sanitaria, donde la IA predictiva se utiliza cada vez más en tareas de alto riesgo para ayudar a los médicos.
Hoy en Medicina de la naturalezahemos publicado nuestro artículo conjunto con Google Research, que propone CoDoC (flujo de trabajo clínico de aplazamiento impulsado por complementariedad), un sistema de inteligencia artificial que aprende cuándo confiar en herramientas de inteligencia artificial predictivas o remitirse a un médico para obtener la interpretación más precisa de imágenes médicas.
CoDoC explora cómo podríamos aprovechar la colaboración entre humanos y IA en entornos médicos hipotéticos para ofrecer los mejores resultados. En un escenario de ejemplo, CoDoC redujo la cantidad de falsos positivos en un 25% para un gran conjunto de datos de mamografías no identificadas en el Reino Unido, en comparación con los flujos de trabajo clínicos utilizados comúnmente, sin perder ningún verdadero positivo.
Este trabajo es una colaboración con varias organizaciones de atención médica, incluida la Alianza Alto a la Tuberculosis de la Oficina de las Naciones Unidas de Servicios para Proyectos. Para ayudar a los investigadores a aprovechar nuestro trabajo para mejorar la transparencia y la seguridad de los modelos de IA para el mundo real, también hemos abierto el código fuente. Código de CoDoC en GitHub.
CoDoC: herramienta complementaria para la colaboración entre humanos y IA
Para crear modelos de IA más fiables a menudo es necesario rediseñar el complejo funcionamiento interno de los modelos de IA predictivos. Sin embargo, para muchos proveedores de atención médica, simplemente no es posible rediseñar un modelo de IA predictivo. CoDoC puede ayudar potencialmente a mejorar las herramientas de IA predictivas para sus usuarios sin necesidad de que modifiquen la propia herramienta de IA subyacente.
Al desarrollar CoDoC, tuvimos tres criterios:
- Los expertos en aprendizaje no automático, como los proveedores de atención médica, deberían poder implementar el sistema y ejecutarlo en una sola computadora.
- La formación requeriría una cantidad relativamente pequeña de datos (normalmente, sólo unos pocos cientos de ejemplos).
- El sistema podría ser compatible con cualquier modelo de IA patentado y no necesitaría acceso al funcionamiento interno del modelo ni a los datos con los que fue entrenado.
Determinar cuándo la IA predictiva o un médico es más preciso
Con CoDoC, proponemos un sistema de IA simple y utilizable para mejorar la confiabilidad ayudando a los sistemas de IA predictivos a “saber cuando no lo saben”. Analizamos escenarios en los que un médico podría tener acceso a una herramienta de inteligencia artificial diseñada para ayudar a interpretar una imagen, por ejemplo, examinando una radiografía de tórax para determinar si es necesaria una prueba de tuberculosis.
Para cualquier entorno clínico teórico, el sistema de CoDoC requiere sólo tres entradas para cada caso en el conjunto de datos de entrenamiento.
- La IA predictiva genera una puntuación de confianza entre 0 (seguro que no hay enfermedad presente) y 1 (seguro que la enfermedad está presente).
- La interpretación que hace el clínico de la imagen médica.
- La verdad fundamental sobre si la enfermedad estaba presente, como se establece, por ejemplo, mediante biopsia u otro seguimiento clínico.
Nota: CoDoC no requiere acceso a ninguna imagen médica.
CoDoC aprende a establecer la precisión relativa del modelo predictivo de IA en comparación con la interpretación de los médicos, y cómo esa relación fluctúa con las puntuaciones de confianza de la IA predictiva.
Una vez capacitado, CoDoC podría insertarse en un hipotético flujo de trabajo clínico futuro que involucre tanto a una IA como a un médico. Cuando el modelo predictivo de IA evalúa la imagen de un nuevo paciente, su puntuación de confianza asociada se introduce en el sistema. Luego, CoDoC evalúa si aceptar la decisión de la IA o dejarla en manos de un médico dará como resultado en última instancia la interpretación más precisa.
Mayor precisión y eficiencia
Nuestras pruebas exhaustivas de CoDoC con múltiples conjuntos de datos del mundo real (incluidos solo datos históricos y no identificados) han demostrado que combinar lo mejor de la experiencia humana y la IA predictiva da como resultado una mayor precisión que cualquiera de los dos por separado.
Además de lograr una reducción del 25 % en los falsos positivos para un conjunto de datos de mamografía, en simulaciones hipotéticas en las que se permitía que una IA actuara de forma autónoma en determinadas ocasiones, CoDoC pudo reducir en dos el número de casos que un médico debía leer. tercios. También mostramos cómo CoDoC podría hipotéticamente mejorar la clasificación de las radiografías de tórax para realizar pruebas posteriores de tuberculosis.
Desarrollar responsablemente la IA para la atención sanitaria
Si bien este trabajo es teórico, muestra el potencial de adaptación de nuestro sistema de IA: CoDoC pudo mejorar el rendimiento en la interpretación de imágenes médicas en diversas poblaciones demográficas, entornos clínicos, equipos de imágenes médicas utilizados y tipos de enfermedades.
CoDoC es un ejemplo prometedor de cómo podemos aprovechar los beneficios de la IA en combinación con las fortalezas y la experiencia humanas. Estamos trabajando con socios externos para evaluar rigurosamente nuestra investigación y los beneficios potenciales del sistema. Para llevar tecnología como CoDoC de forma segura a entornos médicos del mundo real, los proveedores y fabricantes de atención médica también deberán comprender cómo los médicos interactúan de manera diferente con la IA y validar sistemas con herramientas y configuraciones de IA médica específicas.
Obtenga más información sobre CoDoC: