Las capas de normalización se han convertido en componentes fundamentales de las redes neuronales modernas, mejorando significativamente la optimización al estabilizar el flujo de gradiente, reducir la sensibilidad a la inicialización de peso y suavizar el panorama de pérdidas. Desde la introducción de la normalización por lotes en 2015, se han desarrollado varias técnicas de normalización para diferentes arquitecturas, con la normalización de la capa (LN) que se vuelve particularmente dominante en los modelos de transformadores. Su uso generalizado se atribuye en gran medida a su capacidad para acelerar la convergencia y mejorar el rendimiento del modelo, especialmente a medida que las redes se vuelven más profundas y complejas. A pesar de las innovaciones arquitectónicas continuas que reemplazan otros componentes centrales, como la atención o las capas de convolución, las capas de normalización siguen siendo parte integral de la mayoría de los diseños, subrayando su necesidad percibida en aprendizaje profundo.
Si bien las capas de normalización han demostrado ser beneficiosas, los investigadores también han explorado métodos para entrenar redes profundas sin ellas. Los estudios han propuesto estrategias alternativas de inicialización de peso, técnicas de normalización de peso y recorte de gradiente adaptativo para mantener la estabilidad en modelos como las resnets. En los transformadores, los esfuerzos recientes han examinado las modificaciones que reducen la dependencia de la normalización, como los bloques de transformadores de reestructuración o eliminar gradualmente las capas de LN a través del ajuste fino. Estos enfoques demuestran que, si bien las capas de normalización ofrecen ventajas de optimización, no son estrictamente indispensables, y las técnicas de entrenamiento alternativas pueden lograr una convergencia estable con un rendimiento comparable.
Investigadores de Fair, Meta, NYU, MIT y Princeton proponen Tanh dinámico (DYT) como una alternativa simple pero efectiva a las capas de normalización en los transformadores. DYT opera como una función de elemento, DYT (x) = Tanh (alfa x), donde (alfa) es un parámetro aprendible que escala las activaciones al tiempo que limita los valores extremos. A diferencia de la normalización de la capa, DYT elimina la necesidad de estadísticas de activación, simplificando los cálculos. Las evaluaciones empíricas muestran que reemplazar las capas de normalización con DYT mantiene o mejora el rendimiento en varias tareas sin un ajuste extenso de hiperparameter. Además, DYT mejora la capacitación y la eficiencia de inferencia, desafiando la suposición de que la normalización es esencial para las redes profundas modernas.
Los investigadores analizaron las capas de normalización en transformadores utilizando modelos como VIT-B, WAV2VEC 2.0 y DIT-XL. Descubrieron que LN a menudo exhibe un mapeo de entrada-salida en forma de S de Tanh, principalmente lineal para la mayoría de los valores pero aplastando activaciones extremas. Inspirados por esto, proponen Tanh dinámico (DYT) como un reemplazo para Ln. Definido como dyt (x) = gamma *tanh (alfa x) + beta), donde alfa, gamma y beta son parámetros aprendizables, DYT preserva los efectos de LN sin estadísticas de activación de computación. Los resultados empíricos muestran que DYT se integra a la perfección en las arquitecturas existentes, manteniendo la estabilidad y reduciendo la necesidad de un ajuste de hiperparameter.
Para evaluar la efectividad de DYT, se realizaron experimentos a través de varias arquitecturas y tareas reemplazando LN o RMSNorm con DYT mientras mantienen hiperparámetros sin cambios. En las tareas de visión supervisadas, DYT superó ligeramente a LN en la clasificación ImageNet-1K. Para el aprendizaje auto-supervisado, los modelos de difusión, los modelos de idiomas, el procesamiento del habla y el modelado de secuencia de ADN, DYT alcanzó el rendimiento comparable a los métodos de normalización existentes. Las pruebas de eficiencia en LLAMA-7B mostraron el tiempo de cálculo reducido de DYT. Los estudios de ablación destacaron la importancia de la función Tanh y el parámetro aprendizaje α, que se correlacionó con la desviación estándar de activación, actuando como un mecanismo de normalización implícito. DYT demostró un rendimiento competitivo con una eficiencia mejorada.
En conclusión, el estudio muestra que las redes neuronales modernas, particularmente los transformadores, pueden entrenarse de manera efectiva sin capas de normalización. El DYT propuesto reemplaza la normalización tradicional utilizando un factor de escala aprendenable alfa y una función TANH en forma de S para regular los valores de activación. A pesar de su simplicidad, DYT replica el comportamiento de normalización y logra un rendimiento comparable o superior en varias tareas, incluidos el reconocimiento, la generación y el aprendizaje auto-supervisado. Los resultados desafían la suposición de que las capas de normalización son esenciales, ofreciendo nuevas ideas sobre su función. DYT proporciona una alternativa liviana que simplifica la capacitación mientras mantiene o mejora el rendimiento, a menudo sin requerir ajustes de hiperparameter.
Verificar el Papel y Página del proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 80k+ ml.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.