Escalar modelos de lenguajes grandes (LLM) es costoso. Cada token procesado durante la inferencia y cada gradiente calculado durante el entrenamiento fluye a través de capas de avance que representan más de dos tercios de los parámetros del modelo y más del 80% del total de FLOP en modelos más grandes. Un equipo de investigadores de Sakana AI y NVIDIA han trabajado en una nueva investigación que apunta directamente a este cuello de botella, no cambiando la arquitectura, sino haciendo que el cálculo dentro de las capas de alimentación sea significativamente más barato a través de la escasez no estructurada.
La escasez existe, pero las GPU la ignoran
Dentro del bloque de avance de un transformador, para cualquier token de entrada determinado, solo una pequeña fracción de neuronas ocultas realmente se activa; el resto produce cero después de pasar por la función de activación. Esto se denomina escasez de activación y trabajos anteriores han documentado este fenómeno en modelos con activaciones ReLU.
La frustrante realidad es que estos ahorros teóricos rara vez se traducen en aceleraciones reales. Las GPU NVIDIA están altamente optimizadas para multiplicaciones de matrices densas utilizando Tensor Cores, que operan en grandes mosaicos de datos contiguos. Los formatos dispersos tradicionales como ELLPACK (ELL) requieren un pase de kernel separado para convertir activaciones de representación densa a escasa, y esa sobrecarga de conversión a menudo cancela lo que se guarda al omitir los ceros.
Fundamentalmente, el trabajo previo en núcleos LLM dispersos (incluidos TurboSparse, ProSparse y Q-Sparse) se ha centrado en operaciones GEMV vinculadas a la memoria: el régimen de inferencia de uno o pocos tokens. En cambio, el equipo de investigación se centra en operaciones GEMM vinculadas a la computación en un entorno por lotes con miles de tokens de entrada, donde las líneas de base densas en dispositivos modernos pueden ejecutar FLOP/s de órdenes de magnitud más altas con mosaicos grandes y núcleos tensoriales. Ése es un problema fundamentalmente más difícil, y la razón por la que los enfoques anteriores no se generalizaron al entrenamiento por lotes o a la inferencia de alto rendimiento.
01 — El problema
Las capas de avance dominan el costo de LLM y la mayor parte de ese trabajo se desperdicia.
> ⅔
de todos los parámetros del modelo viven en capas de avance
80%+
del total de FLOP consumidos por las capas de avance
99%+
de activaciones ocultas puede ser cero sin caída de precisión
Para cualquier token dado, sólo una pequeña fracción de las neuronas ocultas realmente se activan. El resto genera cero después de la función de activación. Esto se llama dispersión de activación y, históricamente, ha sido imposible explotarlo en las GPU modernas porque las operaciones dispersas se ejecutaban más lentamente que las densas.
Los kernels LLM dispersos anteriores (TurboSparse, ProSparse, Q-Sparse) solo tenían como objetivo operaciones GEMV de un solo token. Sakana AI y NVIDIA abordan el problema más difícil: GEMM por lotes con miles de tokens, el régimen que cubre tanto el entrenamiento como la inferencia de alto rendimiento.
02 — La Innovación
TwELL: un formato disperso creado en torno a cómo funcionan realmente los núcleos de GPU.
A la antigua usanza – ELL
Embalaje para toda la fila, costoso de construir
ELLPACK estándar empaqueta valores distintos de ceros fila por fila en toda la matriz. Para construirlo a partir de una salida matmul en mosaico, necesita un lanzamiento del kernel por separado, una lectura de memoria global completa y sincronización entre todas las CTA. Esos gastos generales anulan los ahorros que se obtienen al saltarse los ceros.
Nueva forma – TwELL
Embalaje en mosaico, integrado en el epílogo
TwELL divide las columnas en mosaicos horizontales que coinciden con el tamaño del mosaico del núcleo matmul T_n. Los valores distintos de ceros se empaquetan localmente dentro de cada mosaico. Al hacer coincidir las dimensiones, TwELL se construye dentro del epílogo del núcleo de proyección de puerta existente: sin núcleo adicional, sin lectura de memoria adicional, sin sobrecarga de sincronización.
La canalización de inferencia utiliza un núcleo fusionado que lee las activaciones de puertas en formato TwELL y realiza proyecciones arriba y abajo juntas. El estado oculto intermedio nunca se escribe en la memoria global, lo que corta el tráfico DRAM en cada paso directo.
Para el entrenamiento, un formato disperso híbrido enruta filas dinámicamente a una matriz ELL compacta (filas dispersas) o una copia de seguridad densa (filas desbordadas). La escasez durante el entrenamiento es muy no uniforme (el máximo de ceros por fila puede ser órdenes de magnitud superior al promedio), por lo que el diseño híbrido maneja esto sin volverse frágil.
03 — Receta de entrenamiento
Dos cambios en tu configuración de entrenamiento. Nada más.
01
Reemplace SiLU con ReLU como función de activación de puerta. ReLU produce ceros exactos para entradas negativas; esto es lo que permite la escasez no estructurada. No se necesita ningún otro cambio arquitectónico. (ReLU no regularizado se ubica ligeramente por debajo de SiLU en precisión de tareas: 46,4% frente a 47,1% en el modelo 1.500 millones, compensado por las ganancias de eficiencia).
02
Agregue un término de pérdida L1 en las activaciones de feedforward ocultas, promediado sobre todos los tokens y dimensiones ocultas en todas las capas. Coeficiente recomendado: L1 = 2×10⁻⁵. Agréguelo a su pérdida de entropía cruzada estándar. No hay cambios en la tasa de aprendizaje, la disminución del peso, el tamaño del lote ni el optimizador.
03
La escasez se estabiliza rápidamente. El recuento distinto de cero se establece dentro de ~1000 pasos de entrenamiento (~1000 millones de tokens). Los núcleos de entrenamiento brindan beneficios de memoria y rendimiento durante casi toda la ejecución del entrenamiento, no solo hacia el final.
Cuidado
En L1 = 2 × 10⁻⁵, más del 30% de las neuronas quedan permanentemente inactivas (neuronas muertas) en promedio en todas las capas. La precisión aguas abajo no se ve visiblemente afectada en este nivel. El documento explora la reinicialización específica del peso de la puerta como mitigación, lo que produce una aceleración del +19,1 % frente al +17,9 % de referencia sin costo de precisión.
04 — Resultados de referencia
Precisión preservada. La eficiencia aumenta con el tamaño del modelo.
Todos los resultados en L1 = 2×10⁻⁵ en un solo nodo de ocho GPU PCIe H100, longitud de secuencia 2048. Las ganancias de eficiencia crecen con la escala: las activaciones promedio distintas de cero caen de 39 (0,5 B) a 24 (2 B), lo que proporciona a los núcleos dispersos proporcionalmente más cálculos que omitir. * El modelo disperso 2B utiliza un microlote más grande habilitado por una memoria de activación reducida, lo que aumenta el uso máximo y mejora el rendimiento.
05 — Hallazgos clave
Lo que revela el artículo sobre dónde vive realmente la escasez.
◆
Las primeras ponedoras son las menos activas. En un modelo 1.5B de 28 capas, las dos primeras capas tienen la menor cantidad de activaciones distintas de cero. La actividad alcanza su punto máximo en las capas temprana a media, lo que coincide con trabajos anteriores que muestran que el razonamiento del LLM y la recuperación de conocimientos se concentran allí.
◆
Las primeras fichas de una secuencia activan muchas más neuronas. El modelo asigna exponencialmente más cálculos a las primeras posiciones de la secuencia donde las señales contextuales de los tokens anteriores están ausentes. Esta falta de uniformidad es exactamente lo que los núcleos dispersos aprovechan para acelerar.
◆
Fuerte correlación inversa entre escasez y aceleración. El artículo mide una correlación de Pearson de −0,996 entre el recuento promedio distinto de cero de cada capa y su contribución a la aceleración de la inferencia. Las capas más dispersas ofrecen ganancias proporcionalmente mayores.
◆
Mayores ganancias en hardware menos especializado. En NVIDIA RTX PRO 6000 (188 SM frente a 114 en H100), las aceleraciones de entrenamiento son significativamente mayores. El GEMM denso es más lento en el RTX 6000, mientras que las operaciones escasas se ejecutan más rápido, lo que amplía la ventaja relativa de la escasez en el hardware accesible.
06 — Comience
Código abierto. Todos los núcleos y el código de entrenamiento publicados.
■
Arquitectura: funciona con LLM de feedforward cerrado: Llama, Qwen y cualquier diseño de Transformer++. También se admite la variante no cerrada (transformador original): 11,2 % de aceleración de inferencia frente a 17,9 % para la cerrada en el mismo L1.
■
Hardware: núcleos CUDA escritos para GPU H100 que utilizan canalización basada en TMA y diseño cooperativo persistente. Ganancias verificadas en RTX PRO 6000 con aceleraciones aún mayores.
■
Modelos existentes: el ajuste mediante enfoques de dispersión se señala como una dirección futura para llevar estos núcleos a modelos densos previamente entrenados, algo que aún no se ha demostrado en este documento.
Entonces, ¿qué se propone exactamente?
El equipo de investigación aborda este desajuste con dos contribuciones principales: un nuevo formato de datos dispersos llamado TwELL (Tile-wise ELLPACK) y un conjunto de núcleos CUDA personalizados para inferencia y entrenamiento construidos en torno a él.
TwELL está diseñado en torno a una idea clave: los núcleos matmul modernos ya dividen el cálculo en pequeños mosaicos 2D (de tamaño T_m × T_n) asignados a matrices de subprocesos cooperativos (CTA) individuales. El ELL estándar empaqueta filas distintas de ceros fila por fila en toda la matriz, lo que requiere sincronización global para construir a partir de salidas matmul en mosaico. En cambio, TwELL divide las columnas de la matriz de activación de la puerta en mosaicos horizontales de tamaño T, y dentro de cada mosaico almacena valores distintos de cero y sus índices en un diseño de estilo ELL local. Al hacer coincidir la dimensión del mosaico T con el tamaño del mosaico de la columna T_n del kernel matmul, TwELL se puede producir directamente en el epílogo del kernel de proyección de puerta: sin lanzamiento adicional del kernel, sin lectura de memoria global adicional, sin sincronización entre CTA. El formato utiliza un factor de compresión C tal que T/C excede el máximo distinto de ceros por mosaico y empaqueta valores, índices y recuentos distintos de cero en una única matriz de 32 bits para la localidad.
A modo de inferencia, un único núcleo fusionado toma las activaciones de la puerta en formato TwELL y realiza las proyecciones hacia arriba y hacia abajo juntas. Cada CTA maneja una fila de entradas, iterando primero estáticamente sobre los mosaicos de columnas y luego dinámicamente sobre el recuento distinto de cero de cada mosaico. Para cada neurona activa en el índice n, el CTA carga la enésima columna de la matriz de pesos de proyección ascendente W_u y la n-ésima fila de la matriz de pesos de proyección descendente W_d, calcula el producto escalar y lo acumula en la salida. El estado oculto intermedio h_u nunca se materializa en la memoria global, lo que reduce significativamente el tráfico DRAM.
Para el entrenamiento, la situación es más compleja porque los patrones de escasez son muy no uniformes entre tokens y capas: el número máximo de valores distintos de ceros por fila puede ser órdenes de magnitud superiores al promedio, lo que hace que un diseño ELL puro sea frágil. El equipo de investigación introduce un formato disperso híbrido que enruta dinámicamente las filas a una matriz ELL compacta (para filas por debajo de un umbral distinto de cero) o a una matriz de respaldo densa (para filas desbordadas). Esto permite un cálculo eficiente del gradiente disperso en el paso hacia atrás sin requerir matmuls densos a densos para la mayoría de las filas. El equipo también lanza núcleos para el bloque de alimentación directa del transformador no controlado original; en el nivel de escasez recomendado, la variante no cerrada logra una aceleración de inferencia del 11,2 % en comparación con el 17,9 % del diseño cerrado.
Solo regularización ReLU y L1
La estrategia de inducción de escasez es deliberadamente mínima. El equipo de investigación utilizó ReLU como función de activación de puerta y agregó un término de pérdida L1 simple en las activaciones directas ocultas, controlado por un coeficiente L1. No se requieren otros cambios arquitectónicos y el equipo de investigación informó que agregar la regularización L1 no afectó otros hiperparámetros (tasa de aprendizaje, disminución de peso, configuraciones del optimizador).
Los modelos se entrenaron en el conjunto de datos de fineweb (una división deduplicada de fineweb-edu) con recuentos de tokens óptimos para chinchilla (aproximadamente 10 mil millones de tokens para un modelo de 0,5 mil millones hasta 40 mil millones de tokens para un modelo de 2 mil millones) con una longitud de contexto de 2048 y un tamaño de lote de 1 millón de tokens.
Al probar ocho valores de coeficiente L1 en un modelo de parámetros de 1.5B, encuentran que hasta L1 = 3 × 10−5, esencialmente no hay caída en la precisión media de la tarea en siete puntos de referencia posteriores (ARC Easy/Challenge, HellaSwag, OpenBookQA, PIQA, WinoGrande, CommonsenseQA), con un aumento de la entropía cruzada final en menos del 2% en relación con la línea de base no regularizada. La configuración recomendada L1 = 2 × 10−5 reduce las activaciones promedio distintas de cero de 911 por capa (en el modelo 1.5B no regularizado con una dimensión oculta de avance de 5632) a solo 29 (aproximadamente 99,5 % de escasez) sin ninguna pérdida de rendimiento medible en sentido descendente.
Un punto clave importante: en L1 = 2 × 10−5, más del 30% de las neuronas se vuelven permanentemente inactivas (neuronas muertas) en promedio en todas las capas. El equipo de investigación explora dos estrategias de mitigación (programar el calentamiento L1 y aplicar una reinicialización dirigida a las columnas de proyección de puerta muerta) y descubre que el enfoque de reinicialización mantiene niveles de escasez similares al tiempo que mejora ligeramente tanto la precisión como la eficiencia posteriores (+19,1 % de aceleración de la inferencia frente a +17,9 % de la línea de base). Esto figura como una dirección para el trabajo futuro.
Ganancias de eficiencia medidas
Los resultados de eficiencia se informan en un solo nodo de ocho GPU PCIe H100, con una longitud de secuencia fija de 2048 tokens. Para la comparación entre escalas, el coeficiente L1 se fija en 2 × 10−5.
A escalas más pequeñas, la escasez ofrece reducciones claras de la memoria máxima durante el entrenamiento:
Con parámetros de 2B, el modelo disperso utiliza un microlote más grande (permitido por una memoria de activación reducida a esa escala), lo que da como resultado un pico de memoria de GPU más alto (46,7 → 57,1 GB) pero un rendimiento de entrenamiento más rápido (+21,9%). La eficiencia gana en todas las métricas para el modelo 2B:
Rendimiento de ejecución directa: 87,8 → 106 tokens de entrada/ms (+20,5%) Energía por token: 7,85 → 6,51 mJ (−17,0%) Rendimiento del paso de entrenamiento: 22,4 → 27,3 tokens de entrada/ms (+21,9%)
En todo el rango 0,5B-2B, la precisión media de las tareas de los modelos dispersos y no dispersos sigue siendo estadísticamente indistinguible. Los beneficios de eficiencia crecen con la escala del modelo: los modelos más grandes naturalmente desarrollan recuentos promedio distintos de cero más bajos (que caen de 39 en 0.5B a 24 en 2B), lo que significa que los núcleos dispersos se saltan una parte proporcionalmente mayor del cálculo.
También se observan aceleraciones de entrenamiento en la GPU RTX PRO 6000 de NVIDIA, donde el mayor número de multiprocesadores de transmisión (188 frente a 114 en H100) permite que las operaciones dispersas se ejecuten más rápido, lo que sugiere que estas ganancias se extienden a hardware menos especializado.
Lo que revelan los patrones de escasez
La dispersión no es uniforme: las dos primeras capas de un modelo 1.5B de 28 capas son las menos activas, seguidas de un pico pronunciado en activaciones distintas de cero en las capas medias tempranas, lo que coincide con trabajos anteriores que sugieren que aquí es donde ocurre gran parte del razonamiento de LLM y la recuperación de conocimientos. Por otra parte, los primeros tokens en una secuencia de entrada activan muchas más neuronas que los tokens posteriores, con una disminución exponencial a partir de entonces. El equipo de investigación observó una correlación inversa de Pearson de −0,996 entre el recuento promedio distinto de cero de cada capa y su contribución a la aceleración de la inferencia, lo que confirma que las capas más dispersas proporcionan las mayores ganancias por capa.
Consulte el documento, el repositorio y los detalles técnicos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros