modelos es un poco como cocinar: muy poco condimento y el plato queda insípido, demasiado y resulta abrumador. ¿El objetivo? Ese equilibrio perfecto: la complejidad suficiente para captar el sabor de los datos, pero no tanta que resulte abrumadora.
En esta publicación, profundizaremos en dos de los errores más comunes en el desarrollo de modelos: sobreajuste y subajuste. Ya sea que esté entrenando su primer modelo o ajustando el centésimo, mantener estos conceptos bajo control es clave para construir modelos que realmente funcionen en el mundo real.
Sobreajuste
¿Qué es el sobreajuste?
El sobreajuste es un problema común con los modelos de ciencia de datos. Ocurre cuando el modelo aprende demasiado bien de los datos entrenados, lo que significa que aprende de patrones específicos de los datos entrenados y del ruido. Por lo tanto, no es capaz de predecir bien basándose en datos invisibles.
¿Por qué es un problema el sobreajuste?
Mal desempeño: el modelo no es capaz de generalizar bien. Los patrones que ha detectado durante el entrenamiento no son aplicables al resto de datos. Da la impresión de que el modelo está funcionando muy bien basándose en los errores de entrenamiento, cuando en realidad los errores de prueba o del mundo real no son tan optimistas. Predicciones con alta varianza: el rendimiento del modelo es inestable y las predicciones no son confiables. Pequeños ajustes a los datos provocan una gran variación en las predicciones que se realizan. Entrenar un modelo complejo y costoso: entrenar y construir un modelo complejo en producción es un trabajo costoso y que requiere muchos recursos. Si un modelo más simple funciona igual de bien, es más eficiente utilizarlo. Riesgo de perder la confianza empresarial: los científicos de datos que son demasiado optimistas al experimentar con nuevos modelos pueden prometer demasiado resultados a las partes interesadas del negocio. Si el sobreajuste se descubre sólo después de que se ha presentado el modelo, puede dañar significativamente la credibilidad y dificultar la recuperación de la confianza en la confiabilidad del modelo.
Cómo identificar el sobreajuste
Validación cruzada: durante la validación cruzada, los datos de entrada se dividen en varios pliegues (conjuntos de datos de entrenamiento y prueba). Diferentes pliegues de los datos de entrada deberían dar resultados de error de prueba similares. Una gran brecha en el rendimiento entre pliegues puede indicar inestabilidad del modelo o fuga de datos, los cuales pueden ser síntomas de sobreajuste. Realice un seguimiento de los errores de formación, pruebas y generalización. El error al implementar el modelo (error de generalización) no debería desviarse en gran medida de los errores que ya conoce. Si desea hacer un esfuerzo adicional, considere implementar una alerta de monitoreo si el rendimiento del modelo implementado se desvía significativamente del error del conjunto de validación.
Cómo mitigar/prevenir el sobreajuste
Eliminar características: demasiadas características pueden “guiar” demasiado el modelo, lo que da como resultado un modelo que no se puede generalizar bien. Aumente los datos de entrenamiento: al proporcionar más ejemplos de los cuales aprender, el modelo aprende a generalizar mejor y es menos sensible a los valores atípicos y al ruido. Incrementar la regularización: Las técnicas de regularización ayudan a penalizar los coeficientes ya inflados. Esto evita que el modelo se ajuste demasiado a los datos. Ajustar los hiperparámetros: ciertos hiperparámetros que se ajustan demasiado pueden dar como resultado un modelo que no se puede generalizar bien.
Falta de adaptación
¿Qué es el desajuste?
El desajuste ocurre cuando la naturaleza del modelo o las características son demasiado simplistas para capturar bien los datos subyacentes. También da como resultado predicciones deficientes en datos invisibles.
¿Por qué es problemático el desajuste?
Rendimiento deficiente: el modelo tiene un rendimiento deficiente con los datos de entrenamiento y, por lo tanto, también con los datos de prueba y del mundo real. Predicciones con alto sesgo: el modelo es incapaz de hacer predicciones confiables.
Cómo identificar el desajuste
Los errores de entrenamiento y prueba serán pobres. El error de generalización será alto y posiblemente cercano al error de entrenamiento.
Cómo solucionar el desajuste
Mejorar características: introduzca nuevas características o agregue características más sofisticadas (por ejemplo: agregue efectos de interacción/términos polinomiales/términos de estacionalidad) que capturarán patrones más complejos en los datos subyacentes. Aumente los datos de entrenamiento: al proporcionar más ejemplos de los cuales aprender, el modelo aprende a generalizar mejor y es menos sensible a los valores atípicos y al ruido. Reducir el poder de regularización: cuando se aplica una técnica de regularización demasiado poderosa, las características se vuelven demasiado uniformes y el modelo no prioriza ninguna característica, lo que le impide aprender patrones importantes. Ajustar los hiperparámetros: es posible que un modelo intrínsecamente complejo con hiperparámetros deficientes no pueda capturar toda la complejidad. Puede resultar valioso prestar más atención a ajustarlos (por ejemplo, agregar más árboles a un bosque aleatorio). Si todas las demás opciones no solucionan el problema subyacente, podría valer la pena descartar el modelo y reemplazarlo por uno que sea capaz de capturar patrones más complejos en los datos.
Resumen
El aprendizaje automático no es magia, es un acto de equilibrio entre demasiado y muy poco. Si adapta demasiado su modelo, se volverá un perfeccionista que no puede manejar situaciones nuevas. Si no lo ajustas bien, perderás el objetivo por completo.
Los mejores modelos viven en el punto óptimo: generalizar bien, aprender lo suficiente, pero no demasiado. Al comprender y gestionar el sobreajuste y el desajuste, no solo mejora las métricas, sino que también genera confianza, reduce el riesgo y crea soluciones que duran más allá del conjunto de capacitación.
Recursos
[1] https://medium.com/@SyedAbbasT/what-is-overfitting-underfitting-regularization-371b0afa1a2c
[2] https://www.datacamp.com/blog/what-is-overfitting