Investigadores de Caltech, Meta FAIR y NVIDIA AI presentan Tensor-GaLore: un método novedoso para el entrenamiento eficiente de redes neuronales con pesos tensoriales de orden superior

Los avances en las redes neuronales han traído cambios significativos en dominios como el procesamiento del lenguaje natural, la visión por computadora y la computación científica. A pesar de estos éxitos, el costo computacional de entrenar tales modelos sigue siendo un desafío clave. Las redes neuronales a menudo emplean pesos tensoriales de orden superior para capturar relaciones complejas, pero esto introduce ineficiencias en la memoria durante el entrenamiento. Particularmente en la informática científica, las capas parametrizadas por tensores utilizadas para modelar sistemas multidimensionales, como la resolución de ecuaciones diferenciales parciales (PDE), requieren una memoria sustancial para los estados del optimizador. Aplanar tensores en matrices para su optimización puede provocar la pérdida de información multidimensional importante, lo que limita tanto la eficiencia como el rendimiento. Abordar estos problemas requiere soluciones innovadoras que mantengan la precisión del modelo.

Para abordar estos desafíos, investigadores de Caltech, Meta FAIR y NVIDIA AI desarrollaron Tensor-GaLore, un método para el entrenamiento eficiente de redes neuronales con pesos tensoriales de orden superior. Tensor-GaLore opera directamente en el espacio tensorial de alto orden y utiliza técnicas de factorización tensorial para optimizar los gradientes durante el entrenamiento. A diferencia de métodos anteriores como GaLore, que se basaba en operaciones matriciales mediante descomposición de valores singulares (SVD), Tensor-GaLore emplea la descomposición de Tucker para proyectar gradientes en un subespacio de bajo rango. Al preservar la estructura multidimensional de los tensores, este enfoque mejora la eficiencia de la memoria y admite aplicaciones como los operadores neuronales de Fourier (FNO).

Los FNO son una clase de modelos diseñados para resolver PDE. Aprovechan capas de convolución espectral que involucran tensores de orden superior para representar asignaciones entre espacios funcionales. Tensor-GaLore aborda la sobrecarga de memoria causada por los coeficientes de Fourier y los estados del optimizador en FNO, lo que permite un entrenamiento eficiente para tareas de alta resolución como las ecuaciones de flujo de Navier-Stokes y Darcy.

Detalles técnicos y beneficios de Tensor-GaLore

La principal innovación de Tensor-GaLore es el uso de la descomposición de Tucker para gradientes durante la optimización. Esta descomposición divide los tensores en un tensor central y matrices de factores ortogonales a lo largo de cada modo. Los beneficios clave de este enfoque incluyen:

  1. Eficiencia de la memoria: Tensor-GaLore proyecta tensores en subespacios de bajo rango, logrando ahorros de memoria de hasta un 75% para los estados del optimizador.
  2. Preservación de la Estructura: A diferencia de los métodos basados ​​en matrices que colapsan las dimensiones del tensor, Tensor-GaLore conserva la estructura del tensor original, preservando información espacial, temporal y específica del canal.
  3. Regularización implícita: La aproximación del tensor de rango bajo ayuda a prevenir el sobreajuste y admite una optimización más fluida.
  4. Escalabilidad: Funciones como las actualizaciones de peso por capa y los puntos de control de activación reducen el uso máximo de memoria, lo que hace posible entrenar modelos a gran escala.

El análisis teórico garantiza la convergencia y estabilidad de Tensor-GaLore. Sus ajustes de rango específicos del modo brindan flexibilidad y, a menudo, superan a las técnicas tradicionales de aproximación de rango bajo.

Resultados y conocimientos

Tensor-GaLore ha sido probado en varias tareas de PDE y muestra mejoras notables en el rendimiento y la eficiencia de la memoria:

  • Ecuaciones de Navier-Stokes: Para tareas con una resolución de 1024 × 1024, Tensor-GaLore redujo el uso de la memoria del optimizador en un 76 % y al mismo tiempo mantuvo un rendimiento comparable al de los métodos básicos.
  • Problema de flujo de Darcy: Los experimentos revelaron una mejora del 48 % en la pérdida de pruebas con una relación de rango de 0,25, junto con importantes ahorros de memoria.
  • Propagación de ondas electromagnéticas: Tensor-GaLore mejoró la precisión de las pruebas en un 11 % y redujo el consumo de memoria, lo que resultó eficaz para manejar datos multidimensionales complejos.

Conclusión

Tensor-GaLore ofrece una solución práctica para el entrenamiento eficiente de la memoria de redes neuronales utilizando pesos tensoriales de orden superior. Al aprovechar las proyecciones tensoriales de bajo rango y preservar las relaciones multidimensionales, aborda limitaciones clave en los modelos de escala para la informática científica y otros dominios. Su éxito demostrado con PDE, a través del ahorro de memoria y la mejora del rendimiento, la convierte en una herramienta valiosa para avanzar en los descubrimientos científicos impulsados ​​por la IA. A medida que aumentan las demandas computacionales, Tensor-GaLore proporciona un camino hacia un entrenamiento más eficiente y accesible de modelos complejos y de alta dimensión.


Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.

🚨 PRÓXIMO SEMINARIO WEB GRATUITO SOBRE IA (15 DE ENERO DE 2025): Aumente la precisión del LLM con datos sintéticos e inteligencia de evaluación–Únase a este seminario web para obtener información práctica para mejorar el rendimiento y la precisión del modelo LLM y, al mismo tiempo, proteger la privacidad de los datos..


Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.