Adam-mini: un optimizador que hace un uso eficiente de la memoria y que revoluciona el entrenamiento de modelos de lenguaje de gran tamaño con un uso reducido de la memoria y un rendimiento mejorado
El campo de investigación se centra en la optimización de algoritmos para el entrenamiento de grandes modelos lingüísticos (LLM), que son esenciales para comprender y generar el lenguaje humano. Estos…