El entrenamiento de una familia de modelos de lenguaje grandes (LLM) siempre ha tenido un doloroso multiplicador: cada variante de modelo de la familia (ya sea 8B, 30B o 70B) generalmente requiere su propia ejecución de entrenamiento completa, su propio almacenamiento y su propia pila de implementación. Para un equipo de desarrollo que ejecuta inferencia a escala, esto significa multiplicar los costos de computación por la cantidad de tamaños de modelo que desean admitir. Los investigadores de NVIDIA ahora proponen un enfoque diferente llamado Star Elastic.
Star Elastic es un método posterior al entrenamiento que incorpora múltiples submodelos anidados (con diferentes presupuestos de parámetros) dentro de un modelo de razonamiento principal único, utilizando una única ejecución de entrenamiento. Aplicado a Nemotron Nano v3 (un modelo híbrido Mamba-Transformer-MoE con 30 mil millones de parámetros totales y 3,6 mil millones de parámetros activos), Star Elastic produce variantes anidadas de 23 mil millones (2,8 mil millones activos) y 12 mil millones (2,0 mil millones activos) entrenadas con aproximadamente 160 mil millones de tokens. Las tres variantes viven en un punto de control y se pueden extraer sin ningún ajuste adicional.
¿Qué significa realmente "anidado" aquí?
Si no ha encontrado arquitecturas elásticas o anidadas antes, la idea es la siguiente: en lugar de entrenar tres modelos separados 30B, 23B y 12B, entrena un modelo que contiene los más pequeños como subconjuntos de sí mismo. Los submodelos más pequeños reutilizan las ponderaciones más importantes del padre, identificadas mediante un proceso llamado estimación de importancia.
Star Elastic califica cada componente del modelo: canales integrados, cabezales de atención, cabezales Mamba SSM, expertos MoE y canales FFN según su contribución a la precisión del modelo. Luego, los componentes se clasifican y clasifican, de modo que los submodelos de menor presupuesto siempre utilizan el subconjunto contiguo de componentes mejor clasificado del modelo más grande. Esta propiedad se denomina peso compartido anidado.
El método admite el anidamiento a lo largo de múltiples ejes: la dimensión SSM (modelo de espacio estatal), canales de incrustación, cabezas de atención, cabezas de Mamba y canales de cabeza, recuento de expertos de MoE y dimensión intermedia de FFN. Específicamente para las capas MoE, Star Elastic utiliza la poda de activación experta ponderada por enrutador (REAP), que clasifica a los expertos tanto por los valores de la puerta de enrutamiento como por las magnitudes de salida de los expertos, una señal con más principios que la poda ingenua basada en frecuencia, que ignora cuánto contribuye realmente cada experto a la salida de la capa.
Un enrutador fácil de aprender, no una receta de compresión fija
Una distinción clave con respecto a los métodos de compresión anteriores como Minitron es que Star Elastic utiliza un enrutador entrenable de extremo a extremo para determinar las arquitecturas de submodelos anidados. El enrutador toma un presupuesto objetivo (por ejemplo, "dame un modelo de parámetros activos de 2,8 B") como entrada única y genera máscaras diferenciables que seleccionan qué componentes están activos en ese nivel de presupuesto. Estas máscaras se entrenan conjuntamente con el modelo a través de Gumbel-Softmax, que permite el flujo de gradientes a través de decisiones arquitectónicas discretas.
La función de pérdida combina la destilación de conocimiento (KD), donde el modelo principal no elastificado actúa como maestro con una pérdida de enrutador que penaliza la desviación del presupuesto de recursos objetivo (recuento de parámetros, memoria o latencia). Esto significa que el enrutador aprende a tomar decisiones de arquitectura que realmente mejoran la precisión bajo KD, en lugar de simplemente minimizar una métrica de proxy.
La capacitación utiliza un plan de estudios de dos etapas: una fase de contexto corto (longitud de la secuencia 8,192 tokens) con muestreo presupuestario uniforme, seguida de una fase de contexto extendido (longitud de la secuencia 49,152 tokens) con muestreo no uniforme que prioriza el modelo 30B completo (p(30B)=0,5, p(23B)=0,3, p(12B)=0,2). La fase de contexto extendido es crítica para el desempeño del razonamiento. Las ablaciones del equipo de investigación en Nano v2, reproducidas explícitamente como base empírica para la misma elección de plan de estudios en Nano v3, muestran ganancias de hasta el 19,8 % en AIME-2025 para la variante 6B y 4,0 puntos porcentuales para la variante 12B solo de la Etapa 2, lo que motiva su uso aquí.
Control presupuestario elástico: diferentes modelos para diferentes fases de razonamiento
El control presupuestario existente en los modelos de razonamiento, incluido el comportamiento predeterminado del propio Nemotron Nano v3, funciona limitando la cantidad de tokens generados durante una fase antes de forzar una respuesta final. Este enfoque utiliza el mismo modelo en todas partes. Star Elastic desbloquea una estrategia diferente: usar diferentes submodelos anidados para la fase de pensamiento versus la fase de respuesta.
Los investigadores evaluaron cuatro configuraciones. El óptimo, llamado ℳS → ℳL (modelo pequeño para pensar, modelo grande para responder), asigna un modelo más económico para generar trazas de razonamiento extendidas y reserva el modelo de capacidad total para sintetizar la respuesta final. La configuración 23B → 30B en particular avanza la frontera de Pareto entre precisión y latencia, logrando una precisión hasta un 16% mayor y una latencia 1,9 veces menor en comparación con el control de presupuesto predeterminado Nemotron Nano v3. La intuición: los tokens de razonamiento tienen un gran volumen pero toleran cierta reducción de capacidad; la respuesta final requiere mayor precisión.
Cuantización sin romper la estructura anidada
Un enfoque ingenuo para implementar un modelo elástico cuantificado sería cuantificar cada variante por separado después del corte. Eso rompe la propiedad anidada de reparto de peso y requiere un paso de cuantificación separado por tamaño. En cambio, Star Elastic aplica la destilación consciente de la cuantificación (QAD) directamente en el punto de control elástico, preservando la jerarquía de máscaras anidadas en todo momento.
Para FP8 (formato E4M3), la cuantificación post-entrenamiento (PTQ) es suficiente, recuperando el 98,69% de la precisión de BF16 en la variante 30B. Para NVFP4 (el formato de punto flotante de 4 bits de NVIDIA), PTQ por sí solo provoca una caída de precisión promedio del 4,12 %, por lo que una fase QAD anidada corta (~5 mil millones de tokens en un contexto de 48 k) devuelve la recuperación al 97,79 % para la variante 30 mil millones. En ambos casos, se conserva el corte cero de las variantes 23B y 12B desde el único punto de control cuantificado.
Las implicaciones para la memoria son significativas. El almacenamiento de puntos de control BF16 12B, 23B y 30B separados requiere 126,1 GB; el punto de control elástico único requiere 58,9 GB. El punto de control elástico NVFP4 de 30B cabe en 18,7 GB, lo que permite que la variante NVFP4 de 12B se ejecute en un RTX 5080 donde cada configuración BF16 se queda sin memoria. En un RTX Pro 6000, la variante NVFP4 de 12 mil millones alcanza 7426 tokens/s, una mejora de rendimiento de 3,4 veces con respecto a la línea base de 30 mil millones BF16.
Profundidad versus ancho: por qué Star Elastic comprime el ancho
Una elección de diseño que vale la pena mencionar explícitamente: el equipo de investigación comparó dos estrategias de compresión: eliminar capas por completo (compresión de profundidad) versus reducir dimensiones internas como el tamaño oculto, el recuento de expertos y el recuento de personas (compresión de ancho). Con una reducción de parámetros del 15 % y 25 mil millones de tokens de destilación de conocimiento, la compresión de ancho recuperó el 98,1 % del rendimiento inicial, mientras que la compresión de profundidad recuperó solo el 95,2 %, con una degradación notable en HumanEval y MMLU-Pro. Como resultado, Star Elastic prioriza la elasticidad basada en el ancho para sus resultados principales, aunque la compresión en profundidad (salto de capa) sigue estando disponible como mecanismo para escenarios con latencia extrema restringida.
En el conjunto de evaluación (AIME-2025, GPQA, LiveCodeBench v5, MMLU-Pro, IFBench y Tau Bench), la variante Elastic-30B coincide con su matriz Nemotron Nano v3 30B en la mayoría de los puntos de referencia, mientras que las variantes Elastic-23B y Elastic-12B siguen siendo competitivas frente a modelos entrenados independientemente de tamaños similares. El Elastic-23B obtiene una puntuación notable de 85,63 en AIME-2025 frente a los 80,00 de Qwen3-30B-A3B, a pesar de tener menos parámetros activos.
En cuanto al costo de capacitación, el equipo de investigación informa una reducción de tokens de 360 veces en comparación con el entrenamiento previo de cada variante desde cero, y una reducción de 7 veces con respecto a los métodos de compresión de última generación anteriores que requieren ejecuciones de destilación secuenciales por tamaño de modelo. La variante 12B se ejecuta a 2,4 veces el rendimiento del modelo principal 30B en una GPU H100 en bfloat16 con las mismas longitudes de secuencia de entrada/salida.
Cómo utilizar NVIDIA Star Elastic
Guía paso a paso
Nemotron Nano v3 Elastic — 30B / 23B / 12B en un punto de control · BF16 / FP8 / NVFP4
← Anterior Paso 1 de 5 Siguiente →
Conclusiones clave
Star Elastic entrena modelos de razonamiento anidados 30B, 23B y 12B a partir de una única ejecución posterior al entrenamiento de 160B de tokens, logrando una reducción de tokens de 360 veces con respecto al entrenamiento previo desde cero. El control presupuestario elástico (23B para pensar, 30B para responder) mejora la frontera de Pareto precisión-latencia hasta en un 16% de precisión y ganancias de latencia 1,9 veces. Un enrutador aprendeble con Gumbel-Softmax permite la selección de arquitectura entrenable de extremo a extremo, eliminando la necesidad de ejecutar ejecuciones de compresión separadas por tamaño de modelo. QAD anidado conserva el corte de disparo cero en los puntos de control cuantificados de FP8 y NVFP4, lo que reduce el punto de control elástico de 30 B a 18,7 GB en NVFP4. Las tres variantes de precisión (BF16, FP8, NVFP4) están disponibles públicamente en Hugging Face bajo nvidia/NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B.
Consulte los modelos elásticos en papel en Hugging Face BF16, FP8 y NVFP4. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros