En un movimiento estratégico para avanzar en el desarrollo de código abierto en la IA médica, Google Deepmind y Google Research han introducido dos nuevos modelos bajo el paraguas de Medgemma: Medgemma 27b multimodalun modelo de base de la visión a gran escala, y Medsiglipun codificador de texto de imagen médico ligero. Estas adiciones representan los modelos de peso abierto más capaces lanzados hasta la fecha dentro del marco de los fundamentos para desarrolladores de IA de Health (HAI-DEF).
La arquitectura de Medgemma
Medgemma se basa en la columna vertebral del transformador Gemma 3, extendiendo su capacidad al dominio de la salud integrando el procesamiento multimodal y la sintonización específica del dominio. La familia Medgemma está diseñada para abordar los desafíos centrales en la IA clínica, es decir, la heterogeneidad de los datos, la supervisión limitada específica de la tarea y la necesidad de una implementación eficiente en entornos del mundo real. Los modelos procesan tanto imágenes médicas como texto clínico, haciéndolas particularmente útiles para tareas como diagnóstico, generación de informes, recuperación y razonamiento de agente.
Medgemma 27B Multimodal: Escala de razonamiento multimodal en atención médica
El Medgemma 27b multimodal El modelo es una evolución significativa de su predecesor de solo texto. Incorpora una arquitectura en idioma de visión mejorada optimizada para un razonamiento médico complejo, incluida la comprensión longitudinal de la salud electrónica (EHR) y la toma de decisiones guiadas por imágenes.
Características clave:
- Modalidad de entrada: Acepta imágenes médicas y texto en una interfaz unificada.
- Arquitectura: Utiliza un decodificador de transformador de parámetros 27B con intercalación de texto de imagen arbitraria, alimentado por un codificador de imagen de alta resolución (896 × 896).
- Codificador de visión: Reutiliza la red troncal Siglip-400m sintonizada en 33m+ pares de texto de imagen médica, incluidos datos a gran escala de radiología, histopatología, oftalmología y dermatología.
Actuación:
- Logra 87.7% de precisión en Medqa (variante de solo texto), superando todos los modelos abiertos bajo parámetros 50B.
- Demuestra capacidades robustas en entornos de agente como Agente clínicoManejo de la toma de decisiones de varios pasos a través de flujos de diagnóstico simulados.
- Proporciona un razonamiento de extremo a extremo en la historia del paciente, las imágenes clínicas y la genómica, crítica para la planificación personalizada del tratamiento.
Casos de uso clínico:
- Respuesta multimodal de preguntas (VQA-Rad, Slake)
- Generación de informes de radiología (MIMIC-CXR)
- Recuperación intermodal (búsqueda de texto a imagen y imagen a texto)
- Agentes clínicos simulados (AgentClinic-Mimic-IV)
Las evaluaciones tempranas indican que los rivales multimodales de Medgemma 27B son modelos cerrados más grandes como GPT-4O y Gemini 2.5 Pro en tareas específicas de dominio, mientras que están completamente abiertos y más computacionalmente eficientes.
Medsiglip: un codificador de texto de imagen ligero y sintonizado por dominio
Medsiglip es un codificador en idioma de visión adaptado de SIGLIP-400M y optimizado específicamente para aplicaciones de atención médica. Si bien es más pequeño en escala, juega un papel fundamental en la alimentación de las capacidades de visión de Medgemma 4B y 27B multimodal.
Capacidades centrales:
- Ligero: Con solo 400m parámetros y resolución reducida (448 × 448), admite la implementación de borde y la inferencia móvil.
- Lista de sonda lineal y de disparo cero y lineal: Se desempeña competitivamente en tareas de clasificación médica sin finecir de tarea.
- Generalización de dominio: Superenta modelos dedicados solo de imagen en dermatología, oftalmología, histopatología y radiología.
Puntos de referencia de evaluación:
- Rayos X de tórax (CXR14, CHEXPERT): Superenta el modelo de Fundación CXR basado en CXR basado en HAI-DEF ELIXR en un 2% en AUC.
- Dermatología (US-Derm MCQA): Logra 0.881 AUC con sondeo lineal en más de 79 condiciones de piel.
- Oftalmología (Eyepacs): Ofrece 0.857 AUC en la clasificación de retinopatía diabética de 5 clases.
- Histopatología: Coincide o excede el estado del arte en la clasificación del subtipo de cáncer (por ejemplo, colorrectal, próstata, mama).
El modelo utiliza similitud de coseno promedio entre la imagen y los incrustaciones textuales para la clasificación y la recuperación de cero disparos. Además, una configuración de la sonda lineal (regresión logística) permite una finidad eficiente con datos etiquetados mínimos.
Implementación e integración del ecosistema
Ambos modelos son Corriente 100% abiertacon pesas, guiones de entrenamiento y tutoriales disponibles a través del Repositorio de medgemma. Son totalmente compatibles con la infraestructura de Gemma y pueden integrarse en tuberías acuáticas o agentes basados en LLM que usan menos de 10 líneas de código Python. El soporte para la cuantización y la destilación del modelo permite la implementación en hardware móvil sin pérdidas significativas en el rendimiento.
Es importante destacar que todos los modelos anteriores se pueden implementar en una sola GPU, y los modelos más grandes como la variante 27B siguen siendo accesibles para laboratorios e instituciones académicas con presupuestos de cómputo moderados.
Conclusión
El lanzamiento de Medgemma 27b multimodal y Medsiglip señala una estrategia de código abierto maduros para el desarrollo de la IA de la salud. Estos modelos demuestran que con una adaptación de dominio adecuada y arquitecturas eficientes, la IA médica de alto rendimiento no necesita ser patentada o prohibitivamente costosa. Al combinar un fuerte razonamiento listos para usar con adaptabilidad modular, estos modelos reducen la barrera de entrada para construir aplicaciones de grado clínico, desde sistemas de clasificación y agentes de diagnóstico hasta herramientas de recuperación multimodal.
Mira el Papel, Detalle técnico, Github-Medgemma y Github-Medgemma. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeoy YouTube Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.