Si bien los grandes modelos de razonamiento (LRM) han mostrado capacidades impresionantes en el razonamiento de contexto corto a través del aprendizaje de refuerzo (RL), estas ganancias no se generalizan bien a los escenarios de contexto a largo plazo. Las aplicaciones como el control de calidad múltiple, la síntesis de investigación y el análisis legal o financiero requieren que los modelos procesen y razonen sobre secuencias superiores a 100k tokens. Sin embargo, la optimización de RL en tales regímenes está plagada de una convergencia de recompensa más lenta, actualizaciones de políticas inestables debido a fluctuaciones de divergencia de KL y una exploración reducida resultante del colapso de la entropía. Estos cuellos de botella revelan una brecha fundamental en la transición de LRMS del dominio de corto contexto a la generalización de contexto a largo plazo.
Qwenlong-L1: un marco RL estructurado para la adaptación de contexto largo
Para abordar estas limitaciones, el equipo de investigación de Qwen presenta Qwenlong-L1un nuevo marco RL diseñado para adaptar LRM a tareas de razonamiento de contexto largo. El marco está estructurado en tres etapas clave:
- Calentamiento supervisado de fino (SFT): Proporciona una inicialización estable para el modelo de política mediante la capacitación en trillizos curados de respuesta de preguntas y respuestas, asegurando la competencia básica en la comprensión contextual y la extracción de respuestas.
- Aprendizaje de refuerzo en fases guiado por el plan de estudios: Introduce un proceso de entrenamiento en etapas con longitudes de contexto aumentadas gradualmente. Esta progresión permite al modelo adquirir incrementalmente los comportamientos de razonamiento de contexto largo sin desestabilizar las actualizaciones de políticas.
- Muestreo retrospectivo consciente de la dificultad: Mejora la exploración manteniendo y reutilizando ejemplos duros de fases anteriores, ponderadas por su dificultad, para fomentar un razonamiento y robustez más profundo en diversos insumos.
Estas etapas se complementan con mecanismos de recompensa híbridos, combinando la verificación de coincidencia exacta basada en reglas con una evaluación semántica por parte de un LLM liviano, lo que afecta tanto la precisión como en el recuerdo durante la capacitación de políticas.
Diseño técnico y ventajas metodológicas
Qwenlong-L1 integra avances recientes en la optimización RL relativa a grupos, específicamente Grpo y Dapopara mitigar la sobrecarga computacional asociada con la estimación del valor de contexto largo:
- Grpo Estima la ventaja normalizando las recompensas dentro de los grupos muestreados, eliminando la necesidad de una red de valor separada y alentando diversos patrones de generación.
- Dapo Incorpora mecanismos como el muestreo dinámico, la conformación de penalización de longitud excesiva y los umbrales de recorte asimétricos para evitar el colapso de la entropía y mitigar los sesgos de longitud durante el entrenamiento.
La función de recompensa se define como el máximo de dos señales: una coincidencia determinista basada en reglas y un juicio semántico de un modelo de evaluador compacto (por ejemplo, qwen2.5-1.5b). Este enfoque híbrido evita el sobreajuste a los formatos rígidos mientras mantiene la corrección de las respuestas en anotaciones y frases variadas.
Además, el marco se optimiza a través de escala de contexto progresivodonde el proceso RL pasa de 20k-token a longitudes de entrada de 60k-token en fases controladas, estabilizando la dinámica de entrenamiento y facilitando la generalización de políticas.
Resultados experimentales y rendimiento de referencia
Qwenlong-L1 se evaluó en siete puntos de referencia de control de control de larga duración, incluidos Docmath, Frames, 2Wikimultihopqa, Hotpotqa, Musique, Narrativeqa y Qasper. La variante 32B, Qwenlong-L1-32Bdemostró un fuerte rendimiento empírico:
- Superó a los modelos de referencia como R1-Distill-Qwen-32b por 5.1 puntos y superó los principales sistemas patentados como OpenAi-O3-Mini y QWEN3-235B-A22B.
- Su actuación fue Comparable a Claude-3.7-Sonnet-Thinkingindicando capacidades de razonamiento competitivos bajo longitudes de contexto extremas.
- El análisis de pass@k reveló mejoras consistentes con un mayor muestreo, logrando un promedio de pases@2 de 73.7superando Deepseek-r1 y Pregai-o1 previaincluso a bajas tasas de muestreo.
Los estudios de ablación validaron aún más las contribuciones individuales de SFT, RL por fase y muestreo retrospectivo. En particular, RL jugó un papel decisivo en la habilitación de comportamientos de razonamiento emergente, como la conexión a tierra, el entorno submarino, la verificación y el retroceso, los tratos no inducidos efectivamente por el ajuste fino supervisado solo.
Conclusión
Qwenlong-L1 representa un enfoque sistemático para equipar LRM con capacidades de razonamiento de contexto largo y sólidos a través del aprendizaje de refuerzo. Su diseño cierra de manera efectiva la brecha entre la experiencia en contacto con texto corto y las demandas de entornos densos en información al combinar la inicialización supervisada, la escala del contexto impulsada por el plan de estudios y las estrategias de evaluación híbrida. El marco no solo logra los resultados de vanguardia en los puntos de referencia de contexto largo, sino que también demuestra la aparición de patrones de razonamiento interpretables durante el entrenamiento.
Mira el Papel, Modelo en la cara abrazada y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit y suscribirse a Nuestro boletín.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
