Los modelos de frontera aprenden principalmente de datos públicos de Internet. Sin embargo, la neuroimagen clínica rara vez aparece allí, porque las resonancias magnéticas y las tomografías computarizadas contienen rasgos faciales identificables. En consecuencia, los modelos generales tienen un rendimiento inferior en tareas de imágenes cerebrales. Un equipo de investigación de la Universidad de Michigan aborda esta brecha con NeuroVFM, publicado en Nature Medicine.
¿Qué es NeuroVFM?
En esencia, NeuroVFM es un modelo básico visual generalista para neuroimagen. En concreto, se entrenó en 5,24 millones de volúmenes clínicos de resonancia magnética y tomografía computarizada. Estos provinieron de 566.915 estudios en el conjunto de datos de UM-NeuroImages. Esos datos abarcan más de dos décadas de atención de rutina en Michigan Medicine.
El equipo de investigación llama a su enfoque “aprendizaje del sistema de salud”. En resumen, el modelo aprende de datos no seleccionados generados durante las operaciones clínicas normales. Por tanto, evita el cuello de botella de los informes radiológicos emparejados. También evita la curación de enfermedades específicas que se utiliza en clasificadores restringidos.
En particular, el modelo base se llama Vol-JEPA. Amplía los métodos anteriores I-JEPA y V-JEPA a imágenes médicas volumétricas. Esto refleja una tendencia más amplia: el aprendizaje estilo JEPA se está expandiendo a las imágenes médicas.
¿Cómo funciona Vol-JEPA?
Vol-JEPA es un algoritmo autosupervisado de solo visión. En lugar de reconstruir píxeles, predice representaciones en un espacio latente aprendido. Como resultado, no necesita etiquetas, ni texto de informe ni decodificador de vóxeles.
Primero, cada volumen 3D se tokeniza en parches de 4×16×16 vóxeles que no se superponen. A continuación, el volumen se divide en un contexto visible pequeño y un objetivo enmascarado más grande. Luego, un codificador de estudiantes procesa los parches de contexto.
Mientras tanto, un predictor combina contextos latentes con codificaciones de posición objetivo. Predice las regiones latentes enmascaradas. Un codificador docente genera las latentes del objetivo de verdad sobre el terreno. Este profesor es una media móvil exponencial (EMA) del alumno. El entrenamiento minimiza una pérdida suave de L1 entre las latentes previstas y las del maestro, con gradientes detenidos a través del maestro.
Es importante destacar que el enmascaramiento se centra en el primer plano y utiliza máscaras de cabeza precalculadas. Las proporciones de contexto son del 25 % para la resonancia magnética y del 20 % para la TC, con un 20 % de abandono del parche. Este diseño alienta al codificador a modelar la neuroanatomía compartida en lugar de atajos de fondo.