Los optimizadores son una parte esencial de todos los que trabajan en aprendizaje automático.
Todos sabemos que los optimizadores determinan cómo el modelo convergerá a la función de pérdida durante el descenso del gradiente. Por lo tanto, el uso del optimizador adecuado puede aumentar el rendimiento y la eficiencia del entrenamiento del modelo.
Además de los artículos clásicos, muchos libros explican los principios detrás de los optimizadores en términos simples.
Sin embargo, recientemente descubrí que el rendimiento de los optimizadores de Keras 3 no coincide exactamente con los algoritmos matemáticos descritos en estos libros, lo que me puso un poco ansioso. Me preocupaba que no entendiera algo o que las actualizaciones en la última versión de Keras afectaran a los optimizadores.
Por lo tanto, revisé el código fuente de varios optimizadores comunes en Keras 3 y revisé sus casos de uso. Ahora quiero compartir este conocimiento para ahorrarle tiempo y ayudarlo a dominar los optimizadores de Keras 3 más rápidamente.
Si no está muy familiarizado con los últimos cambios en Keras 3, aquí hay un resumen rápido: Keras 3 integra TensorFlow, PyTorch y JAX, lo que nos permite utilizar marcos de aprendizaje profundo de vanguardia fácilmente a través de las API de Keras.