Si bien los LLM han mostrado avances notables en aplicaciones de uso general, su desarrollo para campos especializados como la medicina sigue siendo limitado. La complejidad del conocimiento médico y la escasez de datos de alta calidad específicos de dominio hacen que la creación de LLM médicas altamente eficientes sea un desafío. Aunque modelos como GPT-4 y Deepseekr1 han demostrado capacidades impresionantes en todas las industrias, su adaptación al dominio médico se ve obstaculizado por la naturaleza intrincada de la terminología médica, diversas disciplinas y literatura en constante evolución. A diferencia de las aplicaciones generales, la IA médica debe interpretar un lenguaje altamente técnico y proporcionar respuestas precisas y contextualmente relevantes, que los LLM tradicionales luchan por lograr.
Un obstáculo importante en la construcción de LLM médicos efectivos es la accesibilidad limitada de los datos de capacitación de alta calidad, que está restringido debido a las preocupaciones de privacidad y las barreras regulatorias. Los conjuntos de datos médicos consisten en información estructurada y no estructurada, incluidas notas clínicas, libros de texto y artículos de investigación, lo que dificulta la capacitación de modelos integrales. Si bien se han explorado enfoques como el ajuste general de LLM en conjuntos de datos médicos y la aplicación de aprendizaje de transferencia, estos métodos a menudo no logran comprender la profundidad del conocimiento médico por completo. Como resultado, dichos modelos pueden funcionar bien en tareas específicas, pero carecen de la comprensión matizada necesaria para consultas médicas complejas, destacando la necesidad de estrategias de capacitación más refinadas.
Investigadores de Baichuan Inc. introdujeron Baichuan-M1, un especializado modelo de lenguaje grande Serie diseñada específicamente para aplicaciones médicas. A diferencia de los modelos tradicionales que refinan las arquitecturas existentes a través de un pretratenamiento adicional o después de la capacitación, Baichuan-M1 se construye desde cero con un fuerte enfoque en la experiencia médica. Entrenado en 20 billones de tokens, incluidos datos generales y médicos específicos, el modelo equilibra una amplia comprensión del lenguaje con precisión específica del dominio. Excelente en tareas generales como codificación y matemáticas y en aplicaciones médicas como diagnósticos y recomendaciones de tratamiento. Con una arquitectura de transformador optimizado, Baichuan-M1 establece un nuevo punto de referencia para los avances impulsados por la IA en la atención médica.
La arquitectura del modelo sigue a los marcos de LLAMA y similares, que incorpora RMSNORM RMSNORM, SWISHGLU en la capa FFN e incrustaciones de posición giratoria. El estudio integra la atención global y deslizante de las ventanas para optimizar la eficiencia de la inferencia, aumentando la dimensión del cabeza a 256 para capas globales. Además, las convoluciones breves temporales en la atención de valor clave mejoran el aprendizaje en contexto. El modelo emplea un tokenizador híbrido para texto médico y general, una estrategia de entrenamiento basada en el plan de estudios con complejidad de datos progresivo y recorte de gradiente adaptativo para la estabilidad. Supervisado ajuste fino refina razonamiento general y tareas específicas médicas, asegurando una comprensión de lenguaje robusto, razonamiento médico y capacidades de manejo de documentos largos mientras se mantiene la eficiencia de inferencia.
Utilizando varios puntos de referencia, el código de Baichuan-M1-14B-Base y las habilidades matemáticas se evaluaron contra los modelos de la serie Qwen2.5. El rendimiento de la generación de códigos se probó con el marco EvalPlus y BigCodeBench, mientras que la competencia matemática se evaluó utilizando conjuntos de datos matemáticas y CMATH. Aunque la variante de instrucciones de 14b todavía se queda atrás de modelos patentados como Claude-3.5-Sonnet y GPT-4O, la brecha se ha reducido significativamente. Los resultados demuestran que Baichuan-M1-14B-Base funciona de manera competitiva en ciertas tareas, mostrando su generación de código y fortalezas de razonamiento matemático en comparación con otros modelos avanzados.
En conclusión, los métodos tradicionales para adaptar LLM a campos especializados a menudo implican ajuste de modelos existentes. Sin embargo, los experimentos sugieren que el entrenamiento adicional sobre modelos preexistentes puede obstaculizar las mejoras específicas del dominio sin sacrificar el rendimiento general. En el dominio médico, los modelos generales ajustados con datos específicos del dominio pueden ser menos efectivos que el entrenamiento desde cero. Baichuan-M1 se desarrolló con este enfoque, utilizando 20 billones de tokens para mejorar la experiencia médica mientras se mantiene las capacidades generales. Baichuan-M1-14b de código abierto permite investigaciones adicionales, aunque los desafíos permanecen en el diagnóstico de enfermedades raras y las aplicaciones del mundo real. Su evolución continua podría avanzar significativamente en la toma de decisiones médicas impulsadas por la IA.
Verificar el Papel, Baichuan-m1-14b-base y Baichuan-M1-14B-Instructo. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 75k+ ml de subreddit.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.
