Se sabe que las redes neuronales son excelentes aproximaciones para cualquier función, al menos siempre que No te alejes demasiado de nuestro conjunto de datos.. Veamos qué significa eso. Aquí hay algunos datos:
No sólo parece una onda sinusoidal, sino que en realidad lo es, con algo de ruido añadido. Ahora podemos entrenar una red neuronal de retroalimentación normal que tenga 1 capa oculta con 1000 neuronas y activación ReLU. Obtenemos el siguiente ajuste:
Se ve bastante decente, aparte de los bordes. Nosotros podría solucione este problema agregando más neuronas a la capa oculta según Cybenko teorema de aproximación universal. Pero quiero señalarte algo más:
Nosotros podría argumentar ahora que este comportamiento de extrapolación es malo si asumimos que el patrón de onda continúa fuera del rango observado. Pero si no hay conocimiento del dominio o más datos a los que podamos recurrir, sería simplemente esto: una suposición.
Sin embargo, en el resto de este artículo, voluntad Supongamos que cualquier patrón periódico que podamos detectar dentro de los datos continúa también afuera. Esta es una suposición común al hacer series de tiempo. modelado, algo que naturalmente queremos extrapolar al futuro. Suponemos que cualquier estacionalidad observada en los datos de entrenamiento continuará así, porque ¿qué más podemos decir sin ninguna información adicional? En este artículo, quiero mostrarte cómo usar funciones de activación basadas en seno ayuda a incorporar esta suposición en el modelo.
Pero antes de continuar, profundicemos brevemente en cómo las redes neuronales basadas en ReLU se extrapolan en general y por qué no deberíamos usarlas para el pronóstico de series temporales tal como están.