Un estudio realizado por Google La investigación en colaboración con Google DeepMind revela que el gigante tecnológico desarrolló un LLM con capacidades conversacionales y colaborativas que pueden proporcionar un diagnóstico diferencial (DDx) preciso y ayudar a mejorar el razonamiento diagnóstico de los médicos y la precisión en el diagnóstico de afecciones médicas complejas.
El LLM para DDx se basa en Med-PaLM 2, la tecnología de inteligencia artificial generativa de la compañía que utiliza los LLM de Google para responder preguntas médicas.
El LLM centrado en DDx se ajustó en datos del dominio médico con mejoras sustanciales de rendimiento e incluyó una interfaz que permitió su uso como asistente médico interactivo.
En el estudio, 20 médicos evaluaron 302 casos médicos desafiantes del mundo real del New England Journal of Medicine.
Cada caso fue leído por dos médicos a quienes se les proporcionaron aleatoriamente métodos de asistencia estándar, como motores de búsqueda y recursos médicos tradicionales, o métodos de asistencia estándar además del LLM para DDx de Google. Todos los médicos proporcionaron un DDx de referencia antes de recibir las herramientas asistidas.
Al concluir el estudio, los investigadores encontraron que el rendimiento de su LLM para DDx superó al de los médicos sin asistencia, con un 59,1% de precisión en comparación con un 33,6%.
Además, los médicos que recibieron asistencia del LLM tenían una lista más completa de diagnósticos diferenciales con una precisión del 51,7 % en comparación con los que no recibieron asistencia del LLM con un 36,1 % y los médicos con búsqueda con un 44,4 %.
“Nuestro estudio sugiere que nuestro LLM para DDx tiene el potencial de mejorar el razonamiento diagnóstico y la precisión de los médicos en casos desafiantes, lo que merece una evaluación adicional en el mundo real por su capacidad para empoderar a los médicos y ampliar el acceso de los pacientes a la experiencia de nivel especializado”, anotaron los investigadores. .
LA TENDENCIA MÁS GRANDE
Los investigadores informaron limitaciones del estudio. Los médicos recibieron un informe de caso redactado con acceso a la presentación del caso y a las figuras y tablas asociadas. El LLM solo tuvo acceso al cuerpo principal del texto de cada informe de caso.
Los investigadores observaron que el LLM superó a los médicos a pesar de esta limitación. Si el LLM tuviera acceso a las tablas y figuras, se desconoce cuánto se ampliaría la brecha de precisión.
Además, el formato para ingresar información en el LLM diferiría de cómo un médico ingresaría información del caso en el LLM.
“Por ejemplo, si bien los informes de casos se crean como ‘rompecabezas’ con suficientes pistas que deberían permitir a un especialista razonar hacia el diagnóstico final, sería un desafío crear un informe de caso tan conciso, completo y coherente al comienzo de un estudio real. encuentro clínico”, escribió el investigador.
Los casos también fueron seleccionados como condiciones difíciles de diagnosticar. Por lo tanto, los evaluadores observaron que los resultados no sugieren que los médicos deban aprovechar el LLM para DDx en los casos típicos que se observan en la práctica diaria.
También se descubrió que el LLM saca conclusiones a partir de síntomas aislados en lugar de ver el caso completo de manera integral, y un médico señaló que el LLM era más beneficioso para casos más simples con palabras clave específicas o signos patognomónicos.
“Generar un DDx es un paso crítico en la gestión de casos clínicos, y las capacidades de los LLM presentan nuevas oportunidades para que las herramientas de asistencia ayuden con esta tarea. Nuestro estudio aleatorizado demostró que el LLM para DDx era una herramienta de inteligencia artificial útil para la generación de DDx para médicos generalistas. “Los médicos participantes indicaron su utilidad para el aprendizaje y la educación, y se necesita trabajo adicional para comprender la idoneidad para los entornos clínicos”, concluyeron los investigadores.
Asista a esta sesión en el Foro HIMSS AI in Healthcare que tendrá lugar del 14 al 15 de diciembre de 2023 en San Diego, California. Obtenga más información y regístrese.