Este artículo de IA de China propone un novedoso método de dispersión basado en dReLU que aumenta la dispersión del modelo al 90% mientras mantiene el rendimiento, logrando una aceleración de 2 a 5 veces en la inferencia.
Los modelos de lenguaje grande (LLM) han logrado avances sustanciales en el campo del procesamiento del lenguaje natural (PLN). Al ampliar la cantidad de parámetros del modelo, los LLM muestran…