La IA ayuda a los investigadores a investigar cómo miles de estudios médicos comparten código | Noticias del MIT

Los datos y el código que sustentan un estudio de investigación pueden decirnos qué se hizo realmente y cómo. En un estudio médico, por ejemplo, ¿cómo se seleccionaron los pacientes para su inclusión? ¿Cómo se manejaron los valores faltantes? ¿Cómo se evaluaron los resultados?

El acceso a los datos y al código de un estudio ayuda a los investigadores a responder estas preguntas, examinar los métodos y aprovechar el trabajo.

“Los estudios implican muchas opciones sobre cómo preparar datos, desarrollar modelos y evaluar el desempeño. Esto a veces se denomina ‘grados de libertad del investigador'”, dice Tom Pollard, científico investigador del Laboratorio de Fisiología Computacional y Ciencias de la Computación e Inteligencia Artificial del MIT. “Las decisiones que tomamos afectan los resultados, y una sección de métodos en un artículo sólo puede capturar una cantidad limitada de detalles”.

Si bien compartir código puede ser un primer paso, para que el código pueda entenderse y reutilizarse debe estar suficientemente estructurado y descrito. El problema es que, en este momento, hay poca orientación para los investigadores sobre lo que constituye una colección de código bien organizada y bien descrita.

Aquí es donde un equipo internacional dirigido por investigadores del MIT y el Instituto del Cáncer Dana-Farber intentó ayudar, examinando cómo se comparte actualmente el código en los estudios de predicción clínica. Dichos estudios desarrollan o evalúan modelos para estimar los resultados de los pacientes, como el riesgo de desarrollar una enfermedad. Dado que estos modelos informan las decisiones sobre la atención al paciente, los investigadores deben poder examinar cómo se construyeron y probaron.

Utilizando modelos de lenguaje grande (LLM), los investigadores examinaron casi 4.000 artículos para identificar declaraciones sobre código compartido. Luego siguieron las declaraciones para evaluar cientos de repositorios de códigos asociados.

Su revisión reveló dos lagunas clave: el intercambio de código sigue siendo poco común y hacer público el código no significa siempre proporcionar la documentación y la información de respaldo necesarias para su reutilización. Los hallazgos de acceso abierto, publicados recientemente en Nature Medicine, están informando a TRIPOD-Code, una guía de informes que se está desarrollando para aclarar lo que los investigadores deben compartir.

Siguiendo el código

TRIPOD-Code se basa en TRIPOD y TRIPOD+AI, listas de verificación que ayudan a los investigadores a informar cómo se desarrollaron y evaluaron los modelos de predicción clínica. Para comprender las prácticas actuales de código compartido, el equipo identificó estudios que citan cualquiera de las directrices. La revisión incluyó casi 4.000 estudios que desarrollaron, actualizaron o validaron modelos de predicción y cuyos textos completos estaban disponibles a través de la colección de acceso abierto de PubMed Central.

“El desafío era que la información era muy inconsistente. Primero, tuvimos que identificar si un documento compartía código o no”, dice Thomas Sounack, el primer autor del estudio. Agrega que los autores “discuten y vinculan el código de un artículo de muchas maneras diferentes”.

El equipo utilizó un LLM para ayudar a examinar artículos, identificar declaraciones sobre la disponibilidad del código y extraer enlaces. Luego, el software recuperó los repositorios vinculados (colecciones en línea de códigos y archivos relacionados) para una evaluación adicional.

El flujo de trabajo fue más allá de comprobar si existía un vínculo. También evaluó los repositorios según características como la integridad de la documentación, los requisitos de software y los términos de reutilización.

“El beneficio real de los LLM es su capacidad para procesar información no estructurada, como texto. Estos modelos nos ayudaron a trabajar con información que estaba dispersa en artículos y repositorios de software, en lugar de estar claramente organizada en una tabla”, dice Pollard, autor principal del estudio. “Eso nos permitió examinar cómo se compartía el código con mucho más detalle en una gran colección de estudios”.

Revisores humanos evaluaron el trabajo de los LLM. Dos investigadores verificaron de forma independiente 500 artículos y una muestra separada de repositorios, resolviendo desacuerdos antes de comparar sus evaluaciones con los resultados automatizados.

El acuerdo fue más fuerte respecto de características concretas, como la presencia de un expediente de licencia, que respecto de los juicios sobre la idoneidad de la documentación. Debido a que los errores de clasificación siguen siendo posibles, los autores enfatizan los patrones generales en lugar de tratar cada recuento como exacto.

Código compartido inconsistente

Sólo aproximadamente 1 de cada 8 estudios informó compartir código. Cuando se compartía código, el contenido de los repositorios variaba ampliamente.

Algunos repositorios estaban “extremadamente bien organizados y documentados, mientras que otros casi no ofrecían ninguna orientación”, dice Sounack. Un buen intercambio de código, explica, significa “dar suficiente información para comprender lo que hace el código y poder ejecutarlo para reproducir los resultados reportados en el artículo”.

Las prácticas también variaron sustancialmente entre revistas y países. Entre las revistas, la proporción de estudios que comparten código osciló entre cero y más del 70 por ciento. Sin embargo, algunas revistas con bajas tasas de intercambio tenían políticas escritas para compartir códigos, lo que sugiere que las políticas por sí solas pueden no ser suficientes para motivar el intercambio de códigos.

El examen también ayudó a identificar ejemplos de prácticas eficaces. Algunos investigadores, por ejemplo, proporcionaron conjuntos de datos sintéticos para ayudar con la reutilización del código cuando los registros originales de los pacientes no podían compartirse públicamente.

Estableciendo un estándar para compartir código

Los investigadores que comparten código ya están haciendo un esfuerzo para que su trabajo sea transparente. Pero la investigación de predicción clínica reúne a personas de la medicina, la estadística y la informática, cuyas expectativas a la hora de documentar y compartir códigos pueden diferir.

TRIPOD-Code tiene como objetivo establecer un consenso. A través de un proceso de revisión de expertos, el equipo está desarrollando pautas sobre qué elementos del código analítico compartido deben considerarse esenciales.

“Queremos brindar a los investigadores orientación práctica sobre cómo compartir código y brindar a las revistas expectativas más claras para comunicar a los autores”, dice Pollard. “La revisión nos brinda evidencia para informar esas discusiones”.