El aprendizaje de refuerzo con recompensas verificables (RLVR) ha demostrado ser efectiva para mejorar el razonamiento y las habilidades de codificación de LLMS, particularmente en dominios donde las respuestas de referencia estructuradas permiten una verificación clara. Este enfoque se basa en señales basadas en referencia para determinar si la respuesta de un modelo se alinea con una respuesta correcta conocida, generalmente a través de etiquetas de corrección binaria o puntajes graduados. RLVR se ha aplicado principalmente a áreas como las matemáticas y la codificación, donde la verificación basada en reglas o asistida por herramientas es sencilla. Sin embargo, expandir RLVR a tareas más complejas y menos estructuradas ha sido difícil debido a los desafíos para verificar las respuestas de referencia abiertas o ambiguas. Aunque los modelos generativos y las LLM de código cerrado como GPT-4O se han explorado como verificadores, estas soluciones a menudo siguen siendo específicas del dominio y requieren conjuntos de datos anotados extensos para la capacitación.
Los desarrollos recientes apuntan a ampliar las aplicaciones RLVR mediante la introducción de modelos generativos de recompensas, donde los LLM utilizan sus habilidades generativas para producir juicios y justificaciones. Estos modelos pueden ser entrenados sin fundamentos detallados, en lugar de depender de la confianza de las salidas del verificador para generar señales de recompensa estables. Esta técnica apoya el aprendizaje de refuerzo en tareas con etiquetas ruidosas o ambiguas. Además, los investigadores están explorando RLVR en una variedad más amplia de dominios que usan más respuestas de referencia de forma libre, evitadas de anotaciones expertas y datos previos a la realización o generados por LLMS, moviendo más allá de tareas limitadas como matemáticas y rompecabezas lógicos. Estos esfuerzos marcan un paso significativo hacia el entrenamiento RLVR escalable y de dominio general.
Los investigadores de Tencent AI y la Universidad Soochow están explorando la extensión de RLVR a dominios complejos y no estructurados como la medicina, la química y la educación. Muestran que los juicios de corrección binaria siguen siendo consistentes entre los LLM cuando hay referencias escritas por expertos disponibles. Para abordar las limitaciones de las recompensas binarias en las tareas de forma libre, introducen señales de recompensa suaves y generativas basadas en modelos. Utilizando modelos 7B compactos, entrenan verificadores de recompensa de dominio cruzado sin requerir una anotación extensa específica de dominio. Su marco RLVR supera significativamente a los modelos de código abierto en tareas y escalas de razonamiento de manera efectiva. También lanzan un conjunto de datos de 570k-ejemplo para admitir más investigaciones en RLVR de múltiples dominios.
El método utiliza respuestas de referencia escritas por expertos para guiar la estimación de recompensas para el aprendizaje de refuerzo. Las respuestas se evalúan utilizando un verificador LLM generativo, que genera recompensas binarias (0/1) o suaves en función de la probabilidad de corrección. Las recompensas se normalizan utilizando la normalización de la puntuación Z para el entrenamiento estable y una mejor dinámica de aprendizaje. Los autores entrenan un modelo de recompensa generativo compacto (7b) utilizando juicios recolectados durante la exploración de RL para evitar depender únicamente de modelos grandes. Estas etiquetas binarias se obtienen de un LLM más grande y se usan para ajustar el verificador más pequeño. Este enfoque equilibra el rendimiento y la eficiencia al tiempo que aumenta la robustez al ruido y las variaciones de formato.
El estudio utiliza dos conjuntos de datos de control de calidad chinos a gran escala, uno con 773k preguntas de matemáticas de forma libre a través de los niveles escolares y otro con 638k preguntas de nivel universitario de múltiples sujetos de Examqa. Estos conjuntos de datos cuentan con respuestas complejas y no estructuradas que desafían los métodos de recompensa basados en reglas. Los investigadores capacitaron a un modelo de recompensa 7B (RM-7B) utilizando 160k muestras destiladas y probaron varios enfoques RL. Los resultados muestran que RL con recompensas basadas en modelos superan los métodos basados en reglas y el ajuste fino supervisado (SFT), especialmente en las tareas de razonamiento. En particular, RM-7B alcanza el rendimiento cerca del modelo 72B más grande, destacando su eficiencia. Las recompensas binarias superan las recompensas suaves en los entornos basados en reglas debido a problemas de desajuste semántico.
En conclusión, el estudio simplifica el modelado de recompensas mediante el entrenamiento de un modelo generativo para generar puntajes binarios (1 o 0) sin depender del razonamiento de la cadena de pensamiento. Si bien la cuna ayuda al razonamiento, su necesidad de verificar la similitud semántica sigue sin estar clara. A diferencia del trabajo pasado que se basó en la puntuación basada en el formato, este enfoque evita el formato de respuesta estricta, reduciendo el esfuerzo manual. La investigación extiende RLVR más allá de los dominios estructurados a áreas como la medicina y la economía, donde las respuestas de referencia están menos definidas. Utilizando un modelo 7B, muestra que las recompensas suaves basadas en modelos mejoran el rendimiento en tareas de forma libre, superan los modelos más grandes y mejoran la adaptabilidad y la escalabilidad de RLVR.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.
