Cómo se puede mejorar el “aprendizaje” y el “entrenamiento” de las redes neuronales mediante el ajuste de hiperparámetros
En mi publicación anterior, discutimos cómo Redes neuronales predecir y aprender de los datos. Hay dos procesos responsables de esto: el pase adelantado y pase hacia atrás, también conocido como propagación hacia atrás. Puedes aprender más acerca de esto aquí:
Esta publicación profundizará en cómo podemos optimizar este proceso de “aprendizaje” y “entrenamiento” para aumentar el rendimiento de nuestro modelo. Las áreas que cubriremos son mejoras computacionales y ajuste de hiperparámetros ¡Y cómo implementarlo en PyTorch!
Pero, antes de todo eso, ¡refresquemos rápidamente nuestra memoria sobre las redes neuronales!
Las redes neuronales son grandes expresiones matemáticas que intentan encontrar la función “correcta” que pueda asignar un conjunto de entradas a sus salidas correspondientes. A continuación se muestra un ejemplo de una red neuronal:
Cada neurona de capa oculta realiza el siguiente cálculo:
- Entradas: Estas son las características de nuestro conjunto de datos.
- Pesos: Coeficientes que escalan las entradas. El objetivo del algoritmo es encontrar los coeficientes más óptimos a través de descenso de gradiente.
- Suma ponderada lineal: Resuma los productos de las entradas y ponderaciones y agregue un término de sesgo/compensación, b.
- Capa oculta: Se almacenan varias neuronas para aprender patrones en el conjunto de datos. El superíndice se refiere a la capa y el subíndice al número de neuronas en esa capa.