Los modelos de idiomas grandes (LLM) han revolucionado los campos desde la comprensión del lenguaje natural hasta el razonamiento y la generación de códigos. Sin embargo, llevar su capacidad de razonamiento a niveles verdaderamente sobrehumanos se ha limitado por la necesidad de conjuntos de datos masivos de alta calidad y anotados por humanos. Un equipo de investigadores de Tencent AI Seattle Lab, Washington University, la Universidad de Maryland y la Universidad de Texas han propuesto R-Zero, un marco diseñado para capacitar a LLMS de razonamiento que puede evolucionar sin depender de las etiquetas de datos externas.
Más allá de los datos curados por los humanos
La mayoría del progreso en el razonamiento de LLM está atado a conjuntos de datos curados laboriosamente por humanos, un enfoque que es intensivo en recursos y fundamentalmente limitado por el conocimiento humano. Incluso los métodos sin etiquetas que utilizan las propias salidas de LLM para señales de recompensa aún dependen de las colecciones existentes de tareas o problemas no resueltos. Estas dependencias de la escalabilidad del cuello de botella y obstaculizan el sueño del razonamiento de IA abierto más allá de las capacidades humanas.
R-Zero: autoevolución de cero datos
R-Zero Forge una ruta novedosa eliminando por completo la dependencia de tareas y etiquetas externas. En cambio, introduce una dinámica coevolutiva entre dos instancias de un modelo base:
- Desafiador: Responsable de crear nuevas y desafiantes tareas de razonamiento cerca del borde de la capacidad del solucionador.
- Solucionador: Entrenado para resolver problemas cada vez más difíciles planteados por el retador, mejorando iterativamente.
Esta sinergia permite que el plan de estudios, el conjunto de datos de entrenamiento, sea autogenerado y adaptado continuamente a las fortalezas y debilidades en evolución del modelo. El proceso funciona de la siguiente manera:
- Entrenamiento retador: Capacitado a través del aprendizaje de refuerzo (específicamente Optimización de políticas relativas grupales [GRPO]), genera diversas preguntas difíciles de resolver. La señal de recompensa para cada pregunta se basa en la incertidumbre del solucionador: más alta cuando las respuestas del solucionador son máximas inconsistentes (la precisión empírica se acerca al 50%).
- Entrenamiento de solucionadores: El solucionador está ajustado en los problemas curados del retador. Las pseudo etiquetas (respuestas) están determinadas por la mayoría de los votos entre las propias respuestas del solucionador. Solo se usan preguntas con respuestas ni demasiado consistentes ni dispersas (es decir, en una banda informativa) para el entrenamiento.
- Bucle iterativo: Roles alternativos de Challenger y Solvy, que evolucionan en varias rondas, mejorando progresivamente las habilidades de razonamiento sin intervención humana.
Innovaciones técnicas clave
- Optimización de políticas relativas del grupo (GRPO)
GRPO es un algoritmo de aprendizaje de refuerzo que normaliza la recompensa por cada respuesta generada en relación con el grupo de respuestas para el mismo aviso. Este método de política eficiente LLMS sin una función de valor separada. - Plan de estudios impulsado por la incertidumbre
El retador es recompensado por generar problemas en la frontera del solucionador, ni demasiado fácil ni imposible. La función de recompensa alcanza su punto máximo para tareas donde el solucionador alcanza una precisión del 50%, maximizando la eficiencia del aprendizaje por análisis teórico. - Verificaciones de penalización y formato de repetición
Para garantizar datos de capacitación diversos y bien estructurados, una sanción de repetición desalienta preguntas similares dentro de un lote, y las verificaciones de formato estrictas aseguran la calidad de los datos. - Control de calidad de pseudo etiqueta
Solo se utilizan pares de respuesta de preguntas con consistencia de respuesta intermedia para el entrenamiento, filtrando problemas ambiguos o mal plenados y precisión de la etiqueta de calibración.
Rendimiento empírico
Puntos de referencia de razonamiento matemático
R-Zero se evaluó utilizando siete puntos de referencia matemáticos rigurosos, incluidos AMC, Minerva, Math-500, GSM8K, Olympiad-Bench y Aime Competits. En comparación con el modelo base y la línea de base Challenger no entrenada, Tres iteraciones de R-Zero condujeron a mejoras sustanciales en la precisión del razonamiento en todos los tamaños y arquitecturas del modelo. (Por ejemplo, QWEN3-8B-base mejoró de 49.18 a 54.69 puntaje promedio después de tres iteraciones).
Puntos de referencia de razonamiento general
Crucialmente, las mejoras de R-Zero generalizar más allá de las matemáticas. Los puntos de referencia que incluyen MMLU-Pro, SuperGPQA y Big Bench Extra Hard (BBEH) muestran ganancias significativas en la precisión de razonamiento del dominio general (por ejemplo, QWEN3-8B-Base, salta promedio general de 34.49 a 38.73), lo que demuestra efectos de transferencia fuertes.
Conclusión
R-Zero marca un hito importante hacia LLMS de razonamiento sobrehumano y autosuficiente. Su canal de entrenamiento coevolutivo totalmente autónomo ofrece no solo fuertes ganancias empíricas en el razonamiento, sino también una nueva lente a través de la cual ver el desarrollo de IA escalable y sin datos. Los investigadores y profesionales pueden experimentar con este marco hoy, aprovechando las herramientas de código abierto para ser pioneros en la próxima era de modelos de idiomas centrados en el razonamiento.
Mira el Papel y Página de Github. No dude en ver nuestro Página de Github para tutoriales, códigos y cuadernos. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.