Las capacidades de razonamiento representan un componente fundamental de los sistemas AI. La introducción de OpenAI O1 provocó un interés significativo en la construcción de modelos de razonamiento a través de enfoques de aprendizaje de refuerzo a gran escala (RL). Mientras que la fuente abierta de Deepseek-R1 potenció a la comunidad para desarrollar modelos de razonamiento de última generación, se omitieron los detalles técnicos críticos, incluidas las estrategias de curación de datos y las recetas de capacitación RL específicas. Esta ausencia dejó a los investigadores que luchaban por replicar el éxito, lo que llevó a esfuerzos fragmentados que exploran diferentes tamaños de modelo, puntos de control iniciales y dominios objetivo. Se exploran diferentes tamaños de modelo, puntos de control iniciales, modelos de razonamiento destilados, dominios objetivo, código e IA física, pero carecen de recetas de entrenamiento concluyentes o consistentes.
Los modelos de lenguaje de capacitación para el razonamiento se centran en los dominios de matemáticas y código a través de enfoques de ajuste de preperación y supervisado. Los primeros intentos de RL que utilizan modelos de recompensa específicos de dominio muestran ganancias limitadas debido a desafíos inherentes para tareas matemáticas y de codificación. Los esfuerzos recientes después de la versión de Deepseek-R1 exploran los métodos de verificación basados en reglas, donde los problemas matemáticos requieren formatos de salida específicos para una verificación precisa, y los problemas de código utilizan comentarios de compilación y ejecución. Sin embargo, estos enfoques se centran en dominios individuales en lugar de manejar indicaciones heterogéneas, evaluaciones de referencia restringidas limitadas a AIME y LivecodeBench, y problemas de inestabilidad de capacitación que requieren técnicas como aumentos de la longitud de respuesta progresiva y la mitigación del colapso de la entropía.
Los investigadores de NVIDIA demuestran que la RL a gran escala puede mejorar significativamente las capacidades de razonamiento de modelos pequeños y medianos fuertes, superando los enfoques basados en la destilación de última generación. El método emplea una estrategia de capacitación secuencial simple pero efectiva: la primera realización de capacitación RL sobre indicaciones de matemáticas solo, seguido de indicaciones solo en código. Esto revela que RL solo matemáticas mejora el rendimiento en los puntos de referencia matemáticos y mejora las tareas de razonamiento del código, mientras que las iteraciones de RL de código extendido aumentan aún más el rendimiento del código con una degradación mínima en los resultados de las matemáticas. Además, se desarrolla una sólida cartera de curaciones de datos para recopilar indicaciones desafiantes con respuestas verificables de alta calidad y casos de prueba, lo que permite RL basada en verificación en ambos dominios.
El método realiza la curación de datos para RL solo matemáticas y solo RL. Para RL solo matemáticas, la tubería fusiona los conjuntos de datos DeepScaler y Numinamath que cubren álgebra, combinatoria, teoría de números y geometría, aplicando reglas de filtrado y exclusión estrictas de 9 gramos para contenido inadecuado. El modelo Deepseek-R1 valida las preguntas a través de ocho intentos, conservando solo soluciones correctas votadas por la mayoría a través de la verificación basada en reglas. El conjunto de datos para el RL solo de código se selecciona de las plataformas de programación competitivas modernas que utilizan formatos de llamadas de funciones y STDIN/STDOUT en temas algorítmicos. Además, los investigadores filtran problemas incompatibles, curan los casos de prueba integrales que cubren casos de borde y asignan puntajes de dificultad utilizando la evaluación Deepseek-R1-671B, produciendo 8,520 problemas de codificación verificados.
Los resultados muestran que el modelo AcerEason-Nemotron-7B logra mejoras de precisión del 14.5% y 14.6% en AIME 2024/2025, respectivamente, con ganancias de 14.2% y 8% en LivecodeBench V5/V6 en comparación con los modelos SFT iniciales. La variante de 14B supera a los modelos más grandes como Deepseek-R1-Distill-Qwen-32b y Deepseek-R1-Distill-Llama-70b, logrando los mejores resultados entre los modelos de razonamiento basados en RL abiertos. En comparación con los modelos basados en la destilación de SOTA, AcerEason-Nemotron-14B supera a OpenMath-14b-14b/32B por 2.1%/4.4% en los puntos de referencia de AIME y OpenCoderAsonering-14b-14B por 1.7%/0.8% en LIVECODEBISH, que muestra que RL alcanza el mayor rendimiento superior de rendimiento que los enfoques de destilación al mantener el rendimiento competitivo contra los modelos de Frontierr-O32.
En este artículo, los investigadores muestran que la RL a gran escala mejora las capacidades de razonamiento de los fuertes modelos SFT de tamaño pequeño y mediano a través de un entrenamiento secuencial específico de dominio. El enfoque propuesto de realizar RL solo matemáticas seguido de indicaciones solo de código revela que la capacitación de razonamiento matemático aumenta significativamente el rendimiento en los puntos de referencia matemáticos y de codificación. La tubería de curación de datos permite a RL basada en verificación a través de dominios heterogéneos mediante la recopilación de indicaciones desafiantes con respuestas verificables de alta calidad y casos de prueba. Los hallazgos revelan que RL supere los límites de razonamiento del modelo, proporcionando soluciones a problemas insoluble y estableciendo nuevos puntos de referencia de rendimiento para el desarrollo del modelo de razonamiento.
Mira el Papel y Modelo en la cara abrazada. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit y suscribirse a Nuestro boletín.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.
