¿Puede un modelo 3B ofrecer un razonamiento de clase 30B fijando la receta de entrenamiento en lugar de escalar los parámetros? Nanbeige LLM Lab en Boss Zhipin ha lanzado Nanbeige4-3B, una familia de modelos de lenguaje pequeño con parámetros 3B entrenados con un énfasis inusualmente fuerte en la calidad de los datos, la programación curricular, la destilación y el aprendizaje por refuerzo.
El equipo de investigación envía 2 puntos de control principales, Nanbeige4-3B-Base y Nanbeige4-3B-Thinking, y evalúa el modelo de razonamiento sintonizado contra los puntos de control Qwen3 desde los parámetros 4B hasta 32B.
Resultados de referencia
En AIME 2024, Nanbeige4-3B-2511 informa 90,4, mientras que Qwen3-32B-2504 informa 81,4. En GPQA-Diamond, Nanbeige4-3B-2511 reporta 82,2, mientras que Qwen3-14B-2504 reporta 64,0 y Qwen3-32B-2504 reporta 68,7. Estos son los dos puntos de referencia en los que se respalda directamente el encuadre de la investigación “3B supera a 10 veces más grande”.
El equipo de investigación también muestra fuertes ganancias en el uso de herramientas en BFCL-V4: Nanbeige4-3B informa 53,8 frente a 47,9 para Qwen3-32B y 48,6 para Qwen3-30B-A3B. En Arena-Hard V2, Nanbeige4-3B reporta 60.0, igualando el puntaje más alto que figura en esa tabla de comparación dentro del artículo de investigación. Al mismo tiempo, el modelo no es el mejor en todas las categorías, en Fullstack-Bench reporta 48.0, por debajo de Qwen3-14B con 55.7 y Qwen3-32B con 58.2, y en SuperGPQA reporta 53.2, ligeramente por debajo de Qwen3-32B con 54.1.
La receta del entrenamiento, las piezas que mueven un modelo 3B
Filtrado de datos híbridos y luego remuestreo a escala
Para el entrenamiento previo, el equipo de investigación combina el etiquetado multidimensional con una puntuación basada en similitudes. Reducen su espacio de etiquetado a 20 dimensiones e informan 2 hallazgos clave, las etiquetas relacionadas con el contenido son más predictivas que las etiquetas de formato y un esquema de puntuación detallado de 0 a 9 supera al etiquetado binario. Para la puntuación basada en similitudes, crean una base de datos de recuperación con cientos de miles de millones de entradas que admiten la recuperación híbrida de texto y vectores.
Filtran 12,5 T de tokens de datos de alta calidad, luego seleccionan un subconjunto de 6,5 T de mayor calidad y lo muestrean durante 2 o más épocas, produciendo un corpus final de entrenamiento de tokens de 23 T. Este es el primer lugar donde el informe se aparta del típico entrenamiento de modelos pequeños: la canalización no son solo “datos limpios”, sino que se califican, recuperan y vuelven a muestrear con supuestos de utilidad explícitos.
FG-WSD, un programador de utilidades de datos en lugar de muestreo uniforme
La mayoría de proyectos de investigación similares tratan la caída estable del calentamiento únicamente como un programa de tasa de aprendizaje. Nanbeige4-3B agrega un plan de estudios de datos dentro de la fase estable a través de FG-WSD, Warmup-Stable-Decay de grano fino. En lugar de muestrear una mezcla fija durante el entrenamiento estable, concentran progresivamente datos de mayor calidad más adelante en el entrenamiento.
En una ablación de 1B entrenada en tokens de 1T, la tabla anterior muestra que GSM8K mejora de 27,1 con WSD básico a 34,3 con FG-WSD, con ganancias en CMATH, BBH, MMLU, CMMLU y MMLU-Pro. En la ejecución completa de 3B, el equipo de investigación divide el entrenamiento en Calentamiento, Estable enriquecido con diversidad, Estable de alta calidad y Decaimiento, y utiliza ABF en la etapa de decaimiento para extender la longitud del contexto a 64K.
SFT de múltiples etapas, luego corrija los rastros de supervisión
El entrenamiento posterior comienza con el SFT de inicio en frío y luego el SFT general. La etapa de inicio en frío utiliza alrededor de 30 millones de muestras de control de calidad centradas en matemáticas, ciencias y código, con una longitud de contexto de 32 KB y una combinación informada de aproximadamente 50 % de razonamiento matemático, 30 % de razonamiento científico y 20 % de tareas de código. El equipo de investigación también afirma que escalar las instrucciones SFT de arranque en frío de 0,5 M a 35 M sigue mejorando AIME 2025 y GPQA-Diamond, sin saturación temprana en sus experimentos.
En general, SFT cambia a una combinación de longitud de contexto de 64K que incluye conversación y escritura generales, uso y planificación de herramientas de estilo agente, razonamiento más complejo que apunta a las debilidades y tareas de codificación. Esta etapa introduce el refinamiento de la solución más la reconstrucción de la cadena de pensamiento. El sistema ejecuta ciclos iterativos de generación, crítica y revisión guiados por una lista de verificación dinámica, luego utiliza un modelo de finalización de cadena para reconstruir un CoT coherente que sea consistente con la solución final refinada. Esto tiene como objetivo evitar el entrenamiento sobre rastros de razonamiento rotos después de una edición intensa.
Destilación DPD, luego RL multietapa con verificadores
La destilación utiliza destilación preferente de doble nivel, DPD. El estudiante aprende las distribuciones a nivel de token del modelo del maestro, mientras que un objetivo de DPO a nivel de secuencia maximiza el margen entre las respuestas positivas y negativas. Los aspectos positivos provienen del muestreo del profesor Nanbeige3.5-Pro, los negativos se obtienen del estudiante 3B y se aplica destilación en ambos tipos de muestras para reducir los errores de confianza y mejorar las alternativas.
El aprendizaje por refuerzo se organiza por dominio y cada etapa utiliza la política GRPO. El equipo de investigación describe el filtrado de datos de políticas utilizando una tasa de aprobación promedio @ 16 y reteniendo muestras estrictamente entre el 10% y el 90% para evitar elementos triviales o imposibles. STEM RL utiliza un verificador agente que llama a un intérprete de Python para verificar la equivalencia más allá de la coincidencia de cadenas. Coding RL utiliza funciones de prueba sintéticas, validadas mediante ejecución en sandbox, y utiliza recompensas de aprobación fallida de esas pruebas. La alineación de preferencias humanas RL utiliza un modelo de recompensa por pares diseñado para producir preferencias en unos pocos tokens y reducir el riesgo de piratería de recompensas en comparación con los recompensadores del modelo de lenguaje general.
Tabla comparativa
Conclusiones clave
3B puede generar modelos abiertos de razonamiento mucho más amplios, según la configuración de muestreo promedio del artículo. Nanbeige4-3B-Thinking informa AIME 2024 prom@8 90,4 frente a Qwen3-32B 81,4, y GPQA-Diamond prom@3 82,2 frente a Qwen3-14B 64,0. El equipo de investigación es cuidadoso con la evaluación, estos son resultados promedio con decodificación específica, no con precisión de un solo disparo. AIME es promedio @ 8, la mayoría de los demás son promedio @ 3, con temperatura 0,6, p superior 0,95 y generación máxima larga. Las ganancias previas al entrenamiento están ligadas al plan de estudios de datos, no solo a más tokens. Fine-Grained WSD programa mezclas de mayor calidad más adelante, y la ablación 1B muestra que GSM8K pasa de 27,1 a 34,3 frente a la programación básica. La capacitación posterior se centra en la supervisión de la calidad y luego en la destilación consciente de las preferencias. El proceso utiliza el refinamiento deliberativo de la solución más la reconstrucción de la cadena de pensamiento, luego la destilación de preferencia dual que combina la coincidencia de distribución de tokens con la optimización de preferencias a nivel de secuencia.
Consulte los pesos del papel y del modelo. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.