Dyt de Tanh Dynamic: una alternativa simplificada a la normalización en los transformadores
Las capas de normalización se han convertido en componentes fundamentales de las redes neuronales modernas, mejorando significativamente la optimización al estabilizar el flujo de gradiente, reducir la sensibilidad a la…