La IA tiene el potencial de hacer que el razonamiento médico experto sea más accesible, pero las evaluaciones actuales a menudo se quedan cortas al confiar en escenarios simplificados y estáticos. La práctica clínica real es mucho más dinámica; Los médicos ajustan su enfoque de diagnóstico paso a paso, haciendo preguntas específicas e interpretando nueva información a medida que viene. Este proceso iterativo les ayuda a refinar hipótesis, sopesar los costos y los beneficios de las pruebas y evitar llegar a conclusiones. Si bien los modelos de lenguaje han mostrado un fuerte rendimiento en los exámenes estructurados, estas pruebas no reflejan la complejidad del mundo real, donde las decisiones prematuras y la prueba de sobrevaluación siguen siendo serias preocupaciones a menudo perdidas por las evaluaciones estáticas.
La resolución de problemas médicos se ha explorado durante décadas, con sistemas de IA tempranos utilizando marcos bayesianos para guiar diagnósticos secuenciales en especialidades como la patología y la atención de trauma. Sin embargo, estos enfoques enfrentaron desafíos debido a la necesidad de una amplia aportación de expertos. Estudios recientes han cambiado hacia el uso de modelos de lenguaje para el razonamiento clínico, a menudo evaluados a través de puntos de referencia estáticos de opción múltiple que ahora están en gran medida saturados. Proyectos como AMIE y NEJM-CPC introdujeron material de casos más complejo, pero aún se basaban en viñetas fijas. Si bien algunos enfoques más nuevos evalúan la calidad de la conversación o la recopilación de información básica, pocos capturan la complejidad total de la toma de decisiones de diagnóstico sensible a los costos en tiempo real.
Para reflejar mejor el razonamiento clínico del mundo real, los investigadores de Microsoft AI desarrollaron SDBench, un punto de referencia basado en 304 casos de diagnóstico real del New England Journal of Medicine, donde los médicos o los sistemas de inteligencia artificial deben hacer preguntas y pruebas de pedido antes de hacer un diagnóstico final. Un modelo de idioma actúa como un guardián, revela información solo cuando se solicita específicamente. Para mejorar el rendimiento, introdujeron MAI-DXO, un sistema de orquestador codiseñado con médicos que simula un panel médico virtual para elegir pruebas de alto valor y rentables. Cuando se combina con modelos como O3 O3, alcanzó una precisión de hasta un 85.5% al tiempo que reduce significativamente los costos de diagnóstico.
El punto de referencia de diagnóstico secuencial (SDBench) se construyó utilizando 304 escenarios de desafío de casos NEJM (2017–2025), que cubre una amplia gama de afecciones clínicas. Cada caso se transformó en una simulación interactiva donde los agentes de diagnóstico podían hacer preguntas, solicitar pruebas o hacer un diagnóstico final. Un guardián, impulsado por un modelo de idioma y guiado por reglas clínicas, respondió a estas acciones utilizando detalles de casos realistas o hallazgos sintéticos pero consistentes. Los diagnósticos fueron evaluados por un modelo de juez utilizando una rúbrica autorizada por el médico enfocado en la relevancia clínica. Los costos se estimaron utilizando códigos CPT y datos de precios para reflejar las limitaciones de diagnóstico del mundo real y la toma de decisiones.
Los investigadores evaluaron varios agentes de diagnóstico de IA en el banco SDBIS y descubrieron que MAI-DXO superó constantemente tanto a los modelos y médicos estándares. Mientras que los modelos estándar mostraron una compensación entre el costo y la precisión, MAI-DXO, basado en O3, ofreció una mayor precisión a costos más bajos a través del razonamiento estructurado y la toma de decisiones. Por ejemplo, alcanzó la precisión del 81.9% a $ 4,735 por caso, en comparación con el 78.6% de O3 en $ 7,850. También demostró ser robusto en múltiples modelos y datos de prueba mantenidos, lo que indica una fuerte generalización. El sistema mejoró significativamente los modelos más débiles y ayudó a los más fuertes a utilizar los recursos de manera más eficiente, reduciendo las pruebas innecesarias a través de la recopilación de información más inteligente.
En conclusión, SDBench es un nuevo punto de referencia de diagnóstico que convierte los casos de CPC de NEJM en desafíos realistas e interactivos, que requiere que la IA o los médicos hagan preguntas activamente, pruebas de pedido y realicen diagnósticos, cada uno con costos asociados. A diferencia de los puntos de referencia estáticos, imita la toma de decisiones clínicas reales. Los investigadores también introdujeron Mai-DXO, un modelo que simula diversas personajes médicos para lograr una alta precisión diagnóstica a un costo menor. Si bien los resultados actuales son prometedores, especialmente en casos complejos, las limitaciones incluyen la falta de condiciones cotidianas y limitaciones del mundo real. El trabajo futuro tiene como objetivo probar el sistema en clínicas reales y entornos de baja recursos, con potencial para el impacto mundial en la salud y el uso de la educación médica.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.