En tecnología médica, el desarrollo y la utilización de modelos de lenguaje grande (LLM) son cada vez más fundamentales. Estos modelos avanzados pueden digerir e interpretar grandes cantidades de textos médicos, ofreciendo conocimientos que tradicionalmente requieren una amplia experiencia humana. La evolución de estas tecnologías tiene el potencial de reducir significativamente los costos de atención médica y ampliar el acceso al conocimiento médico en diversos grupos demográficos.
Un desafío creciente dentro de esta esfera tecnológica es la falta de modelos competitivos de código abierto que puedan igualar el rendimiento de los sistemas propietarios. Los LLM de atención médica de código abierto son cruciales ya que promueven la transparencia y la accesibilidad a la innovación, que son esenciales para avances equitativos en la tecnología de la atención médica.
Tradicionalmente, los LLM en atención médica se mejoran mediante una capacitación previa continua sobre extensos conjuntos de datos específicos de un dominio y el ajuste para tareas particulares. Sin embargo, estas técnicas a menudo no se escalan de manera efectiva con el aumento del tamaño del modelo y la complejidad de los datos, lo que limita su aplicabilidad práctica en escenarios médicos del mundo real.
Investigadores del Barcelona Supercomputing Center (BSC) y la Universitat Politècnica de Catalunya – Barcelona Tech (UPC) han desarrollado el Modelos de aloe, una nueva serie de LLM en atención médica. Estos modelos emplean estrategias innovadoras, como la fusión de modelos y el ajuste de instrucciones, aprovechando las mejores características de los modelos existentes y mejorándolas a través de regímenes de entrenamiento sofisticados en conjuntos de datos sintetizados públicos y propietarios. Los modelos de Aloe se entrenan utilizando un conjunto de datos novedoso que incluye una combinación de fuentes de datos públicos y datos sintéticos generados mediante técnicas avanzadas de Cadena de Pensamiento (CoT).
La columna vertebral tecnológica de los modelos Aloe implica la integración de varias estrategias nuevas de procesamiento de datos y capacitación. Por ejemplo, utilizan una fase de alineación con Optimización de preferencias directas (DPO) para alinear los modelos de forma ética, y su rendimiento se prueba frente a numerosas métricas de sesgo y toxicidad. Los modelos también se someten a un riguroso proceso de formación de equipos rojos para evaluar los riesgos potenciales y garantizar su seguridad durante el despliegue.
Las métricas de rendimiento de los modelos Aloe han alcanzado puntos de referencia de última generación frente a otros modelos abiertos, superándolos significativamente en precisión de respuesta a preguntas médicas y alineación ética. Por ejemplo, en evaluaciones que involucran puntos de referencia médicos como MedQA y PubmedQA, los modelos Aloe informaron mejoras en la precisión de más del 7 % en comparación con los modelos abiertos anteriores, lo que demuestra su capacidad superior para manejar consultas médicas complejas.
En conclusión, los modelos Aloe suponen un gran avance en la aplicación de los LLM en el sector sanitario. Al fusionar tecnologías de vanguardia y consideraciones éticas, estos modelos mejoran la precisión y confiabilidad del procesamiento de datos médicos y garantizan que los avances en las tecnologías de atención médica sean accesibles y beneficiosos para todos. La introducción de tales modelos marca un paso crítico hacia la democratización del conocimiento médico sofisticado y la mejora del panorama de la atención médica global a través de mejores herramientas de toma de decisiones que sean efectivas y éticamente alineadas.
Revisar la Papel y Modelo. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 42k+ ML
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.