A primera vista, agregar más funciones a un modelo parece una forma obvia de mejorar el rendimiento. Si un modelo puede aprender de más información, debería poder hacer mejores predicciones. En la práctica, sin embargo, este instinto a menudo introduce riesgos estructurales ocultos. Cada característica adicional crea otra dependencia de las canalizaciones de datos ascendentes, los sistemas externos y los controles de calidad de los datos. Un solo campo faltante, un cambio de esquema o un conjunto de datos retrasado pueden degradar silenciosamente las predicciones en producción.
El problema más profundo no es el costo computacional o la complejidad del sistema: es la inestabilidad del peso. En los modelos de regresión, especialmente cuando las características están correlacionadas o son poco informativas, el optimizador tiene dificultades para asignar crédito de manera significativa. Los coeficientes pueden cambiar de manera impredecible a medida que el modelo intenta distribuir la influencia entre señales superpuestas, y las variables de señal baja pueden parecer importantes simplemente debido al ruido en los datos. Con el tiempo, esto lleva a modelos que parecen sofisticados sobre el papel pero que se comportan de manera inconsistente cuando se implementan.
En este artículo, examinaremos por qué agregar más características puede hacer que los modelos de regresión sean menos confiables en lugar de más precisos. Exploraremos cómo las características correlacionadas distorsionan las estimaciones de los coeficientes, cómo las señales débiles se confunden con patrones reales y por qué cada característica adicional aumenta la fragilidad de la producción. Para concretar estas ideas, analizaremos ejemplos utilizando un conjunto de datos de precios de propiedades y compararemos el comportamiento de grandes modelos de “fregadero de cocina” con alternativas más eficientes y estables.
Importando las dependencias
Este código establece un estilo Matplotlib limpio y consistente ajustando los colores de fondo, la apariencia de la cuadrícula y eliminando lomos de eje innecesarios para visualizaciones más claras. También establece una semilla aleatoria NumPy fija (42) para garantizar que cualquier dato generado aleatoriamente siga siendo reproducible en todas las ejecuciones.
Conjunto de datos de propiedades sintéticas
Este código construye un conjunto de datos sintéticos diseñado para imitar un escenario de precios de propiedades del mundo real, donde solo una pequeña cantidad de variables realmente influyen en el objetivo, mientras que muchas otras introducen redundancia o ruido. El conjunto de datos contiene 800 muestras de entrenamiento. Las características principales de la señal, como los pies cuadrados (sqft), el número de dormitorios y la categoría del vecindario, representan los principales impulsores de los precios de la vivienda. Además de estas, se crean intencionalmente varias características derivadas para que estén altamente correlacionadas con las variables principales, como piso_area_m2 (una conversión de unidades de pies cuadrados), lote_pies cuadrados y total_habitaciones. Estas variables simulan la multicolinealidad, un problema común en conjuntos de datos reales donde múltiples características transportan información superpuesta.
El conjunto de datos también incluye características débiles o espurias, como door_color_code, bus_stop_age_yrs y near_mcdonalds_m, que tienen poca o ninguna relación significativa con el precio de la propiedad. Para replicar aún más el problema del “modelo de fregadero de cocina”, el script genera 90 características de ruido completamente aleatorias, que representan columnas irrelevantes que a menudo aparecen en grandes conjuntos de datos. El precio variable objetivo se construye utilizando una fórmula conocida en la que los metros cuadrados, las habitaciones y el vecindario tienen la mayor influencia, mientras que la edad de la parada de autobús tiene un efecto muy pequeño y el ruido aleatorio introduce una variabilidad natural.
Finalmente, se definen dos conjuntos de características: un modelo eficiente que contiene solo las tres características de señal verdadera (pies cuadrados, dormitorios, vecindario) y un modelo ruidoso que contiene todas las columnas disponibles excepto el objetivo. Esta configuración nos permite comparar directamente el rendimiento de un conjunto mínimo de características de alta señal con un modelo grande con muchas características lleno de variables redundantes e irrelevantes.
Dilución de peso mediante multicolinealidad
Esta sección demuestra la multicolinealidad, una situación en la que varias funciones contienen información casi idéntica. El código calcula coeficientes de correlación para tres pares de características intencionalmente correlacionadas: pies cuadrados frente a área_m2 de piso, pies cuadrados frente a pies cuadrados de lote y dormitorios frente a habitaciones_total.
Como muestran los resultados impresos, estas relaciones son extremadamente fuertes (r ≈ 1,0, 0,996 y 0,945), lo que significa que el modelo recibe múltiples señales que describen la misma característica de propiedad subyacente.
Los diagramas de dispersión visualizan esta superposición. Debido a que estas características se mueven juntas casi perfectamente, el optimizador de regresión lucha por determinar qué característica debe recibir crédito por predecir el objetivo. En lugar de asignar un peso claro a una variable, el modelo a menudo divide la influencia entre características correlacionadas de manera arbitraria, lo que genera coeficientes inestables y diluidos. Esta es una de las razones clave por las que agregar características redundantes puede hacer que un modelo sea menos interpretable y menos estable, incluso si el rendimiento predictivo inicialmente parece similar.
Inestabilidad del peso a lo largo de los ciclos de reentrenamiento
Este experimento simula lo que sucede en sistemas de producción reales donde los modelos se vuelven a entrenar periódicamente con datos nuevos. A lo largo de 30 ciclos de reentrenamiento, el código muestrea aleatoriamente subconjuntos del conjunto de datos y se ajusta a dos modelos: un modelo ajustado que utiliza solo las tres características de señal principales y un modelo ruidoso que utiliza el conjunto completo de características que contiene variables aleatorias y correlacionadas. Al rastrear los coeficientes de las características clave en cada ciclo de reentrenamiento, podemos observar qué tan estables permanecen los pesos aprendidos a lo largo del tiempo.
Los resultados muestran un patrón claro: el modelo ruidoso exhibe una variabilidad de coeficientes significativamente mayor.
Por ejemplo, la desviación estándar del coeficiente de pies cuadrados aumenta 2,6 veces, mientras que los dormitorios se vuelven 2,2 veces más inestables en comparación con el modelo delgado. Las líneas trazadas hacen que este efecto sea visualmente obvio: los coeficientes del modelo eficiente permanecen relativamente suaves y consistentes a lo largo de los ciclos de reentrenamiento, mientras que los pesos del modelo ruidoso fluctúan mucho más. Esta inestabilidad surge porque características correlacionadas e irrelevantes obligan al optimizador a redistribuir el crédito de manera impredecible, haciendo que el comportamiento del modelo sea menos confiable incluso si la precisión general parece similar.
Degradación de la relación señal-ruido (SNR)
Esta sección mide la intensidad de la señal de cada característica calculando su correlación absoluta con la variable objetivo (precio). El gráfico de barras clasifica todas las características según su correlación, resaltando las características de señal alta verdadera en verde, las características correlacionadas o débiles en naranja y el gran conjunto de características de ruido puro en gris.
La visualización muestra que sólo un pequeño número de variables transmiten una señal predictiva significativa, mientras que la mayoría contribuye poco o nada. Cuando en un modelo se incluyen muchas características de baja señal o ruido, se diluye la relación señal-ruido general, lo que dificulta que el optimizador identifique consistentemente las características que realmente importan.
Simulación de deriva de características
Este experimento ilustra cómo la deriva de características puede afectar silenciosamente las predicciones del modelo en producción. El código introduce una deriva gradual en una característica débil (bus_stop_age_yrs) y mide cuánto cambian las predicciones del modelo. Dado que el modelo pobre no incluye esta característica, sus predicciones permanecen completamente estables, mientras que el modelo ruidoso se vuelve cada vez más sensible a medida que crece la magnitud de la deriva.
El gráfico resultante muestra un error de predicción que aumenta constantemente a medida que la característica cambia, lo que resalta una importante realidad de producción: cada característica adicional se convierte en otro posible punto de falla. Incluso las variables de baja señal pueden introducir inestabilidad si cambia su distribución de datos o si cambian las tuberías ascendentes.
Consulte los códigos completos aquí. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Soy graduado en ingeniería civil (2022) de Jamia Millia Islamia, Nueva Delhi, y tengo un gran interés en la ciencia de datos, especialmente las redes neuronales y su aplicación en diversas áreas.