Sakana AI presenta un marco novedoso para los modelos de idiomas de razonamiento (LLM) con un enfoque en la eficiencia y la reutilización: Maestros aprendidos de refuerzo (RLTS). Los enfoques de aprendizaje de refuerzo tradicional (RL) en LLM están plagados de señales de recompensa dispersas y demandas computacionales prohibitivamente altas. Por el contrario, RLTS redefine el paradigma de maestro-alumno Entrenamiento de modelos más pequeños para actuar como instructores optimizadosproduciendo explicaciones paso a paso en lugar de resolver problemas desde cero. Este cambio de diseño permite ganancias significativas en la calidad de la destilación, la rentabilidad y la transferibilidad entre los dominios, sin la necesidad de grandes huellas de modelos.
Repensar el aprendizaje de refuerzo para la enseñanza, no resolver
Las configuraciones de RL convencionales entran los modelos para resolver problemas de forma autónoma utilizando recompensas dispersas y basadas en corrección. Estos modelos a menudo se reutilizan para enseñar modelos más pequeños, generando trazas de razonamiento para la destilación. Sin embargo, el desajuste entre el objetivo RL (problemas de resolución) y el uso real de uso posterior (enseñanza) da como resultado ineficiencias. Rlts aborde directamente esto por Involucrar modelos con el problema y su soluciónrequerirles solo para generar explicaciones pedagógicas detalladas. La señal de recompensa es densa y alineada por los estudiantes: mide qué tan bien el modelo de estudiante entiende la explicación y reproduce la solución.
Concepto central: recompensas densas, alineadas con alumnos
El objetivo de entrenamiento RLT se construye en torno a dos términos clave de recompensa:
- Puntaje de solución (RSS): Cuantifica la capacidad del alumno para reconstruir la solución correcta dada la explicación y el problema.
- Puntuación de explicación (RKL): Mide cuán lógicamente coherente es la explicación del maestro desde la perspectiva del alumno.
Estos se combinan en una señal de recompensa densa que fomenta explicaciones que son instructivas y comprensibles. Es importante destacar que esto pasa por alto el cuello de botella de exploración de RL tradicional, habilitando modelos más pequeños para entrenar efectivamente a través de RL.
Eficacia sorprendente de pequeños maestros
Sakana Ai demuestra que un Parámetro 7b RLT Superenta un rendimiento mucho más grande (p. Ej., 32b+ modelos) en tareas de destilación en múltiples conjuntos de datos desafiantes, incluidos AIME 2024, Math 500 y GPQA Diamond. En un corpus de 17k-preguntas:
- RLT-7B supera a Deepseek R1, a Bespoke-7B e incluso a trazas RL postprocesadas.
- RLT-32B Superenta todas las líneas de base 32B en todos los ámbitos, a pesar de ser destilado de un maestro más pequeño.
El impacto no es solo la eficiencia de los parámetrosLos RLT logran una mejor generalización, menos errores de formato y mayor interpretabilidad.
Aprendizaje de refuerzo de arranque en frío con RLTS
Otro caso de uso crítico es Rl de arranque en fríodonde un modelo inicial está arrancado con datos externos antes del entrenamiento formal de RL. Las trazas generadas por RLT sirven como material de inicio frío más efectivo que los de modelos más grandes capacitados en RL. De hecho, incluso sin el procesamiento posterior o el refinamiento externo (p. Ej., A través de GPT-4.1), las explicaciones generadas por RLT producen mayores ganancias de rendimiento después del ajuste de rl.
Generalización fuera de dominio y transferencia de disparo cero
RLTS también se muestran Fuertes capacidades de transferencia de disparo cero. Cuando se aplica a un dominio novedoso, como la tarea de “cuenta regresiva” basada en la aritmética, las trazas entrenadas por RLT permiten a los modelos de estudiantes superar incluso a RL directamente en el nuevo dominio. Esto indica que la habilidad de “explicar una solución” se generaliza en todas las tareas más fácilmente que la habilidad de “resolver desde cero”, proporcionando evidencia de mejor reutilización de los modelos RL centrados en la enseñanza.
Tubería de entrenamiento: eficiente y escalable
El proceso de capacitación es computacionalmente delgado:
- 250 pasos RL (~ 1 época), tamaño por lotes 256, tamaño de grupo 64.
- Entrenado usando una configuración de un solo nodo con qwen2.5-7b-instructo.
- El código y los puntos de control previos al detenido están disponibles: Github
A diferencia de las tuberías RL tradicionales, los RLT no requieren postprocesamiento, correcciones de formato o filtros de verificación.Las salidas en bruto son directamente utilizables.
Destacados de evaluación
Tl; dr (100 palabras)
Sakana AI presenta a los maestros de refuerzo (RLTS), un marco liviano pero poderoso para enseñar LLMS a razonar. A diferencia de los modelos RL tradicionales que aprenden al resolver tareas desde cero, los RLT reciben la pregunta y su solución y están entrenados para generar explicaciones paso a paso. Esta configuración alinea las recompensas de RL con los resultados de aprendizaje de los estudiantes, lo que permite que los RLT de parámetros 7B superen a los LLM mucho más grandes en la destilación y los escenarios de arranque en frío. Los RLT son rentables, transferibles en todos los dominios, y eliminan la necesidad de un procesamiento posterior costoso, ofreciendo un plan escalable para construir LLM con capacidad de razonamiento que use modestos computas y herramientas de código abierto.
Mira el Papel y Detalle técnico Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
