NVIDIA presenta X-Token: KD con tokenizador cruzado guiado por proyección que supera a GOLD en +3,82 puntos promedio en Llama-3.2-1B
La destilación de conocimiento (KD) transfiere “conocimiento oscuro” de un modelo de maestro grande a un estudiante más pequeño. El estudiante aprende de la distribución de probabilidad de salida completa…