NVIDIA presenta una metodología de preentrenamiento de 4 bits utilizando NVFP4, validada en un transformador Mamba híbrido de 12B en 10T Token Horizon
La formación previa de LLM a escala de frontera en el FP8 es ahora una práctica estándar, pero pasar al punto flotante de 4 bits sigue siendo un problema de…