Es sorprendente cómo algunos de los temas básicos del aprendizaje automático aún son desconocidos para los investigadores y, a pesar de ser fundamentales y de uso común, parecen ser misteriosos. ¡Lo divertido del aprendizaje automático es que creamos cosas que funcionan y luego descubrimos por qué funcionan!
Aquí, mi objetivo es investigar el territorio desconocido en algunos conceptos de aprendizaje automático para demostrar que, si bien estas ideas pueden parecer básicas, en realidad están construidas por capas y capas de abstracción. Esto nos ayuda a practicar el cuestionamiento de la profundidad de nuestro conocimiento.
En En este artículo, exploramos varios fenómenos clave en el aprendizaje profundo que desafían nuestra comprensión tradicional de las redes neuronales.
- Empezamos con Normalización por lotes y sus mecanismos subyacentes que aún no se comprenden completamente.
- Examinamos la observación contraintuitiva de que sobreparametrizado Los modelos a menudo generalizar mejorcontradiciendo las teorías clásicas de aprendizaje automático.
- Exploramos los efectos de regularización implícitos de descenso de gradienteque parecen sesgar naturalmente las redes neuronales hacia cosas más simples y…