es el proceso de seleccionar un subconjunto óptimo de características de un conjunto dado de características; Un subconjunto de características óptimo es el que maximiza el rendimiento del modelo en la tarea dada.
La selección de características puede ser un proceso manual o más bien explícito cuando se realiza con Métodos de filtro o envoltorio. En estos métodos, las características se agregan o eliminan de forma iterativa en función del valor de una medida fija, que cuantifica la relevancia de la característica en la realización de la predicción. Las medidas podrían ser la ganancia de información, la varianza o la estadística de chi cuadrado, y el algoritmo tomaría la decisión de aceptar/rechazar la característica considerando un umbral fijo en la medida. Tenga en cuenta que estos métodos no forman parte de la etapa de entrenamiento modelo y se realizan antes de ella.
Métodos integrados Realice la selección de características implícitamente, sin utilizar criterios de selección predefinidos y derivarlo de los datos de entrenamiento en sí. Este proceso de selección de características intrínsecas es parte de la etapa de entrenamiento modelo. El modelo aprende a seleccionar características y hacer predicciones relevantes al mismo tiempo. En secciones posteriores, describiremos el papel de la regularización en la realización de esta selección de características intrínsecas.
Regularización y complejidad del modelo
La regularización es el proceso de penalizar la complejidad del modelo para evitar el sobreajuste y lograr la generalización sobre la tarea.
Aquí, la complejidad del modelo es análoga a su poder para adaptarse a los patrones en los datos de entrenamiento. Asumiendo un modelo polinomial simple en ‘incógnita‘con grado’d‘, a medida que aumentamos el grado’d‘Del polinomio, el modelo logra una mayor flexibilidad para capturar patrones en los datos observados.
Sobrecargado y poco atajón
Si estamos tratando de ajustar un modelo polinomial con d = 2 En un conjunto de muestras de entrenamiento que se derivaron de un polinomio cúbico con cierto ruido, el modelo no podrá capturar la distribución de las muestras en un grado suficiente. El modelo simplemente carece del flexibilidad o complejidad Para modelar los datos generados a partir de un grado 3 (o orden superior) polinomios. Se dice que tal modelo inferior en los datos de capacitación.
Trabajando en el mismo ejemplo, suponga que ahora tenemos un modelo con d = 6. Ahora, con una mayor complejidad, debería ser fácil para el modelo estimar el polinomio cúbico original que se utilizó para generar los datos (como establecer los coeficientes de todos los términos con exponente> 3 a 0). Si el proceso de capacitación no termina en el momento adecuado, el modelo continuará utilizando su flexibilidad adicional para reducir el error dentro y comenzar a capturar en las muestras ruidosas también. Esto reducirá significativamente el error de entrenamiento, pero el modelo ahora sobretensiones los datos de capacitación. El ruido cambiará en la configuración del mundo real (o en la fase de prueba) y cualquier conocimiento basado en predecirlos interrumpirá, lo que lleva a un alto error de prueba.
¿Cómo determinar la complejidad óptima del modelo?
En entornos prácticos, tenemos poca o ninguna comprensión del proceso de generación de datos o la verdadera distribución de los datos. Encontrar el modelo óptimo con la complejidad correcta, de modo que no se produce un ajuste de ajuste o un sobreajuste es un desafío.
Una técnica podría ser comenzar con un modelo suficientemente potente y luego reducir su complejidad mediante la selección de características. Menores son las características, Lesser es la complejidad del modelo.
Como se discutió en la sección anterior, la selección de características puede ser explícita (filtro, métodos de envoltorio) o implícito. Las características redundantes que tienen una relevancia insignificante en la determinación del valor de la variable de respuesta deben eliminarse para evitar el modelo de aprendizaje de patrones no correlacionados en ellos. La regularización, también realiza una tarea similar. Entonces, ¿cómo se conectan la regularización y la selección de características para lograr un objetivo común de complejidad óptima del modelo?
L1 regularización como selector de características
Continuando con nuestro modelo polinomial, lo representamos como una función F, con entradas incógnitaparámetros θ y grado d,
Para un modelo polinomial, cada potencia de la entrada x_i puede considerarse como una característica, formando un vector de la forma,
También definimos una función objetivo, que al minimizar nos lleva a los parámetros óptimos θ* e incluye un regularización término penalizando la complejidad del modelo.
Para determinar los mínimos de esta función, necesitamos analizar todos sus puntos críticos, es decir, los puntos donde la derivación es cero o indefinida.
La derivada parcial wrt uno los parámetros, θjse puede escribir como,
donde la función sgn se define como,
Nota: La derivada de la función absoluta es diferente de la función SGN definida anteriormente. El derivado original no está definido en x = 0. Aumentamos la definición para eliminar el punto de inflexión en x = 0 y hacer que la función sea diferenciable en todo su dominio. Además, tales funciones aumentadas también son utilizadas por los marcos ML cuando el cálculo subyacente implica la función absoluta. Comprueba esto hilo en el foro de Pytorch.
Calculando la derivada parcial de la función objetivo WRT un solo parámetro θj, y establecerlo en cero, podemos construir una ecuación que relacione el valor óptimo de θj con las predicciones, objetivos y características.
Examinemos la ecuación anterior. Si suponemos que las entradas y los objetivos se centraron en la media (es decir, los datos se habían estandarizado en el paso de preprocesamiento), el término en el LHS representa efectivamente el covarianza Entre la jth característica y la diferencia entre los valores predichos y objetivo.
La covarianza estadística entre dos variables cuantifica cuánto influye una variable el valor de la segunda variable (y viceversa)
La función de signo en el RHS obliga a la covarianza en el LHS a asumir solo tres valores (ya que la función de signo solo regresa -1, 0 y 1). Si el jth La característica es redundante y no influye en las predicciones, la covarianza será casi cero, trayendo el parámetro correspondiente θj* a cero. Esto da como resultado que la característica se elimine del modelo.
Imagine la función de signo como un cañón tallado por un río. Puedes caminar en el cañón (es decir, el lecho del río), pero para salir de él, tienes estas enormes barreras o pendientes empinadas. La regularización L1 induce un efecto de ‘umbral’ similar para el gradiente de la función de pérdida. El gradiente debe ser lo suficientemente potente como para romper las barreras o convertirse en cero, lo que eventualmente lleva el parámetro a cero.
Para un ejemplo más castigado, considere un conjunto de datos que contiene muestras derivadas de una línea recta (parametrizada por dos coeficientes) con algún ruido agregado. El modelo óptimo no debe tener más de dos parámetros, de lo contrario, se adaptará al ruido presente en los datos (con la libertad/potencia adicional al polinomio). Cambiar los parámetros de las potencias más altas en el modelo polinomial no afecta la diferencia entre los objetivos y las predicciones del modelo, reduciendo así su covarianza con la característica.
Durante el proceso de capacitación, se agrega/resta un paso constante del gradiente de la función de pérdida. Si el gradiente de la función de pérdida (MSE) es menor que el paso constante, el parámetro eventualmente alcanzará un valor de 0. Observe la ecuación a continuación, que representa cómo se actualizan los parámetros con descenso de gradiente,
Si la parte azul anterior es más pequeña que λαque es un número muy pequeño, Δθj es el paso casi constante λα. El signo de este paso (parte roja) depende de SGN (θj)cuya salida depende de θj. Si θj es positivo, es decir, mayor que ε, SGN (θj) es igual a 1, por lo tanto, hacer Δθj aprox. igual a –λα empujándolo hacia cero.
Para suprimir el paso constante (parte roja) que hace que el parámetro cero, el gradiente de la función de pérdida (parte azul) debe ser mayor que el tamaño de paso. Para un gradiente de función de pérdida mayor, el valor de la característica debe afectar significativamente la salida del modelo.
Así es como se elimina una característica, o más precisamente, su parámetro correspondiente, cuyo valor no se correlaciona con la salida del modelo, es cero por regularización L1 durante el entrenamiento.
Más lectura y conclusión
- Para obtener más información sobre el tema, he publicado una pregunta sobre r/machinelearning subreddit y el resultante hilo Contiene diferentes explicaciones que puede leer.
- Madiyar Aitbayev también tiene un Blog interesante cubriendo la misma pregunta, pero con una explicación geométrica.
- Brian Keng’s blog explica la regularización desde una perspectiva probabilística.
- Este hilo en CrossValided explica por qué la norma L1 fomenta modelos dispersos. Un detallado blog Por Mukul Ranjan explica por qué la norma L1 alienta a los parámetros a convertirse en cero y no la norma L2.
“La regularización L1 realiza la selección de características” es una declaración simple con la que la mayoría de los alumnos de ML están de acuerdo, sin sumergirse profundamente en cómo funciona internamente. Este blog es un intento de aportar mi comprensión y el modelo mental a los lectores para responder la pregunta de manera intuitiva. Para sugerencias y dudas, puedes encontrar mi correo electrónico en mi sitio web. ¡Sigue aprendiendo y que tengas un buen día por delante!