Los comportamientos de generalización aparentemente anómalos de las redes neuronales profundas, el sobreajuste benigno, el doble descenso y la sobreparametrización exitosa no son exclusivos de las redes neuronales ni inherentemente misteriosos. Estos fenómenos pueden entenderse a través de marcos establecidos como Pac-bayes y límites de hipótesis contables. Un investigador de la Universidad de Nueva York presenta “Sesgos inductivos suaves” Como principio unificador clave para explicar estos fenómenos: en lugar de restringir el espacio de hipótesis, este enfoque abarca la flexibilidad mientras mantiene una preferencia por soluciones más simples consistentes con los datos. Este principio se aplica a través de varias clases de modelos, lo que demuestra que aprendizaje profundo no es fundamentalmente diferente de otros enfoques. Sin embargo, el aprendizaje profundo sigue siendo distintivo en aspectos específicos.
Los sesgos inductivos funcionan tradicionalmente como sesgos de restricción que limitan el espacio de hipótesis para mejorar la generalización, lo que permite que los datos eliminen las soluciones inapropiadas. Las redes neuronales convolucionales ejemplifican este enfoque al imponer restricciones difíciles como la localidad y la equivalencia de traducción en los MLP a través de la eliminación y el intercambio de parámetros. Los sesgos inductivos suaves representan un principio más amplio donde se prefieren ciertas soluciones sin eliminar alternativas que se ajustan a los datos igualmente bien. A diferencia de los sesgos de restricción con sus limitaciones duras, los sesgos suaves guían en lugar de limitar el espacio de hipótesis. Estos sesgos influyen en el proceso de entrenamiento a través de mecanismos como la regularización y los antecedentes bayesianos sobre los parámetros.
Adoptar espacios de hipótesis flexibles tiene estructuras de datos del mundo real complejas, pero requiere un sesgo previo hacia ciertas soluciones para garantizar una buena generalización. A pesar de desafiar la sabiduría convencional en torno a un sobreajuste y métricas como la complejidad de Rademacher, los fenómenos como la sobreparametrización se alinean con la comprensión intuitiva de la generalización. Estos fenómenos se pueden caracterizar a través de marcos establecidos desde hace mucho tiempo, incluidos PAC-Bayes y límites de hipótesis contables. El concepto de dimensionalidad efectiva proporciona una intuición adicional para comprender los comportamientos. Los marcos que han dado forma a la sabiduría de generalización convencional a menudo no pueden explicar estos fenómenos, destacando el valor de los métodos alternativos establecidos para comprender aprendizaje automáticoPropiedades de generalización.
Benigno Overecting describe la capacidad de los modelos para ajustar perfectamente el ruido mientras se generaliza bien en los datos estructurados, lo que muestra que la capacidad de sobreajuste no necesariamente conduce a una generalización deficiente en problemas significativos. Las redes neuronales convolucionales podrían adaptarse a las etiquetas de imágenes aleatorias mientras mantienen un fuerte rendimiento en las tareas de reconocimiento de imágenes estructuradas. Este comportamiento contradice marcos de generalización establecidos como la dimensión de VC y la complejidad de Rademacher, y los autores afirman que ninguna medida formal existente podría explicar la simplicidad de estos modelos a pesar de su enorme tamaño. Otra definición para el sobreajuste benigno se describe como “uno de los misterios clave descubiertos por el aprendizaje profundo”. Sin embargo, esto no es exclusivo de las redes neuronales, ya que puede reproducirse en varias clases de modelos.
El doble descenso se refiere a un error de generalización que disminuye, aumenta y luego disminuye nuevamente a medida que aumentan los parámetros del modelo. El patrón inicial sigue al “régimen clásico”, donde los modelos capturan una estructura útil pero finalmente se sobrejunto. El segundo descenso ocurre en el “régimen de interpolación moderno” después de que la pérdida de entrenamiento se acerca a cero. El doble descenso se muestra para un resnet-18 y un modelo lineal. Para el resnet, la pérdida de entropía cruzada se observa en CIFAR-100 a medida que aumenta el ancho de cada capa. A medida que aumenta el ancho de la capa en el resnet o los parámetros en el modelo lineal, ambos siguen patrones similares: la dimensionalidad efectiva aumenta hasta que alcanza el umbral de interpolación, luego disminuye a medida que la generalización mejora. Este fenómeno se puede rastrear formalmente utilizando límites PAC-Bayes.
En conclusión, la sobreparametrización, el sobreajuste benigno y el doble descenso representan fenómenos intrigantes que merecen un estudio continuo. Sin embargo, al contrario de las creencias generalizadas, estos comportamientos se alinean con los marcos de generalización establecidos, pueden reproducirse en modelos no neurales y pueden entenderse intuitivamente. Esta comprensión debe cerrar diversas comunidades de investigación, evitando que se pasen por alto las perspectivas y marcos valiosos. Otros fenómenos como las leyes de acumulación y escala no se presentan como evidencia para repensar los marcos de generalización o como específicos de la red neuronal. Investigaciones recientes confirman que estos fenómenos se aplican a los modelos lineales. Además, los límites de hipótesis PAC PAC y de hipótesis contables siguen siendo consistentes con los modelos de idiomas grandes.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 80k+ ml.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.