El aprendizaje de refuerzo de las recompensas verificables (RLVR) se ha convertido recientemente en un método prometedor para mejorar las habilidades de razonamiento en modelos de idiomas sin supervisión directa. Este enfoque ha mostrado un éxito notable en las matemáticas y la codificación, donde el razonamiento se alinea naturalmente con la resolución estructurada de problemas. Si bien los estudios han demostrado que RLVR solo puede conducir a un razonamiento autovolvido, la investigación se ha limitado en gran medida a estos campos técnicos. Los esfuerzos para extender RLVR han explorado conjuntos de datos sintéticos, como aquellos que involucran tareas secuenciales y recuento de objetos, que indican potencial pero también destacan los desafíos de adaptar este método a diferentes dominios.
La expansión de RLVR a áreas más amplias sigue siendo un desafío abierto, particularmente en tareas como la respuesta de preguntas de opción múltiple (MCQA), que proporciona etiquetas estructuradas y verificables en diversos temas, incluida la medicina. Sin embargo, a diferencia de las matemáticas y la codificación, que implican un razonamiento complejo con un espacio de respuestas abierta, las tareas de MCQA generalmente tienen opciones de respuesta predefinidas, lo que hace que los beneficios de RLVR se traduzcan de manera efectiva. Esta limitación es especialmente relevante en las tareas de razonamiento médico, donde los modelos deben navegar por el conocimiento clínico intrincados para producir respuestas precisas, un área que ha demostrado ser difícil para los sistemas de IA existentes.
Los investigadores de Microsoft Research investigan si el razonamiento médico puede surgir a través de RLVR. Presentan MED-RLVR, aprovechando los datos de MCQA médicos para evaluar la efectividad de RLVR en el dominio médico. Sus hallazgos muestran que RLVR se extiende más allá de las matemáticas y la codificación, logrando el rendimiento comparable al ajuste fino (SFT) supervisado en las tareas de distribución, al tiempo que mejora significativamente la generalización fuera de distribución en ocho puntos porcentuales. Analizando la dinámica de entrenamiento, observan que las capacidades de razonamiento surgen en un modelo base de parámetro 3b sin supervisión explícita, destacando el potencial de RLVR para avanzar en el razonamiento en campos intensivos en conocimiento como la medicina.
RL optimiza la toma de decisiones mediante la capacitación de un agente para maximizar las recompensas a través de interacciones con un entorno. Se ha aplicado de manera efectiva a los modelos de lenguaje para alinear las salidas con las preferencias humanas y, más recientemente, para provocar razonamiento sin supervisión explícita. Este estudio emplea la optimización de políticas proximales (PPO) para capacitar un modelo de política, incorporando una función objetivo recortada para estabilizar la capacitación. Utilizando una función de recompensa basada en reglas, MED-RLVR asigna recompensas basadas en la corrección de la salida y la validez del formato. Sin una supervisión adicional, el modelo demuestra un razonamiento médico emergente, similar al razonamiento matemático en estudios anteriores de RLVR, destacando el potencial de RLVR más allá de los dominios estructurados.
El conjunto de datos MEDQA-USMLE, que incluye preguntas sobre el examen médico múltiple, se utiliza para entrenar MED-RLVR. A diferencia de la versión estándar de cuatro opciones, este conjunto de datos presenta un mayor desafío al ofrecer más opciones de respuesta. La capacitación se basa en el modelo QWEN2.5-3b que usa OpenRLHF para el aprendizaje de refuerzo. En comparación con SFT, MED-RLVR demuestra una generalización superior, particularmente en el conjunto de datos MMLU-Pro-salud. El análisis revela seis etapas de evolución del razonamiento: fallas de formato, salidas detalladas, piratería de recompensas y razonamiento reintegrado. A diferencia de las tareas matemáticas o de codificación, no se observaron comportamientos de autovalidación (“AHA-momentos”), lo que sugiere potenciales mejoras a través de las cadenas de razonamiento cortos o el ajuste fino con COT más largas.
En conclusión, el estudio se centra en MCQA en medicina, proporcionando un entorno controlado para la evaluación. Sin embargo, MCQA no captura completamente la complejidad de las tareas del mundo real, como respuesta de texto abierto, generación de informes o diálogos médicos. Además, el enfoque unimodal limita la capacidad del modelo para integrar datos multimodales, lo cual es crucial para las aplicaciones de diagnóstico. El trabajo futuro debe abordar estas limitaciones. MED-RLVR, basado en el aprendizaje de refuerzo con recompensas verificables, coincide con SFT en tareas de distribución y mejora la generalización fuera de distribución. Si bien el razonamiento médico surge sin una supervisión explícita, los desafíos como la piratería de recompensas persisten, destacando la necesidad de una mayor exploración de un razonamiento complejo e integración multimodal.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.