Durante 18 días, hemos explorado la mayoría de los modelos centrales de aprendizaje automático, organizados en tres familias principales: modelos basados en distancia y densidad, modelos basados en árboles o reglas y modelos basados en peso.
Hasta este punto, cada artículo se centró en un único modelo, entrenado por sí solo. El aprendizaje conjunto cambia esta perspectiva por completo. No es un modelo independiente. Más bien, es una forma de combinar estos modelos básicos para construir algo nuevo.
Como se ilustra en el diagrama siguiente, un conjunto es un metamodelo. Se ubica encima de modelos individuales y agrega sus predicciones.
Votación: la idea de conjunto más sencilla
La forma más sencilla de aprendizaje en conjunto es la votación.
La idea es casi trivial: entrenar varios modelos, tomar sus predicciones y calcular el promedio. Si un modelo está equivocado en una dirección y otro está equivocado en la dirección opuesta, los errores deberían cancelarse. Al menos, esa es la intuición.
Sobre el papel, esto parece razonable. En la práctica, las cosas son muy diferentes.
Tan pronto como intentas votar sobre modelos reales, un hecho resulta obvio: votar no es mágico. Simplemente promediar las predicciones no garantiza un mejor rendimiento. En muchos casos, en realidad empeora las cosas.
La razón es sencilla. Cuando combinas modelos que se comportan de manera muy diferente, también combinas sus debilidades. Si los modelos no cometen errores complementarios, el promedio puede diluir la estructura útil en lugar de reforzarla.
Para ver esto claramente, consideremos un ejemplo muy simple. Tome un árbol de decisiones y una regresión lineal entrenada en el mismo conjunto de datos. El árbol de decisión captura patrones locales no lineales. La regresión lineal captura una tendencia lineal global. Cuando promedias sus predicciones, no obtienes un modelo mejor. Se obtiene un compromiso que a menudo es peor que el de cada modelo tomado individualmente.
Esto ilustra un punto importante: el aprendizaje en conjunto requiere más que un promedio. Requiere una estrategia. Una forma de combinar modelos que realmente mejora la estabilidad o la generalización.
Además, si consideramos el conjunto como un modelo único, entonces debemos entrenarlo como tal. El promedio simple no ofrece ningún parámetro que ajustar. No hay nada que aprender, nada que optimizar.
Una posible mejora de la votación es asignar diferentes pesos a los modelos. En lugar de darle a cada modelo la misma importancia, podríamos intentar aprender cuáles deberían importar más. Pero en cuanto introducimos las pesas aparece una nueva pregunta: ¿cómo las entrenamos? En ese punto, el propio conjunto se convierte en un modelo que hay que adaptar.
Esta observación conduce naturalmente a métodos de conjunto más estructurados.
En este artículo, comenzamos con un enfoque estadístico para volver a muestrear el conjunto de datos de entrenamiento antes de promediar: el embolsado.
La intuición detrás del embolsado
¿Por qué “embolsar”?
¿Qué es el embolsado?
En realidad, la respuesta está oculta en el propio nombre.
Embolsado = Bootstrap + Agregación.
Inmediatamente se puede decir que un matemático o un estadístico lo nombró. 🙂
Detrás de esta palabra un poco intimidante, la idea es extremadamente simple. El embolsado consiste en hacer dos cosas: en primer lugar, crear muchas versiones del conjunto de datos utilizando el bootstrap y, en segundo lugar, agregar los resultados obtenidos de estos conjuntos de datos.
Por tanto, la idea central no es cambiar el modelo. Se trata de cambiar los datos.
Iniciando el conjunto de datos
Bootstrapping significa muestrear el conjunto de datos con reemplazo. Cada muestra de arranque tiene el mismo tamaño que el conjunto de datos original, pero no las mismas observaciones. Algunas filas aparecen varias veces. Otros desaparecen.
En Excel, esto es muy fácil de implementar y, lo que es más importante, muy fácil de ver.
Empiece por agregar una columna de ID a su conjunto de datos, un identificador único por fila. Luego, utilizando la función RANDBETWEEN, dibuja índices de filas aleatoriamente. Cada sorteo corresponde a una fila en la muestra de arranque. Al repetir este proceso, genera un conjunto de datos completo que parece familiar, pero que es ligeramente diferente del original.
Este solo paso ya concreta la idea de embolsar. Literalmente puedes ver los duplicados. Puede ver qué observaciones faltan. Nada es abstracto.
A continuación, puede ver ejemplos de muestras de arranque generadas a partir del mismo conjunto de datos original. Cada muestra cuenta una historia ligeramente diferente, aunque todas provienen de los mismos datos.
Estos conjuntos de datos alternativos son la base del embolsado.
Regresión lineal de embolsado: comprensión del principio
Proceso de embolsado
Sí, esta es probablemente la primera vez que oye hablar de la regresión lineal ensacada.
En teoría, no tiene nada de malo. Como dijimos anteriormente, el ensacado es un método de conjunto que se puede aplicar a cualquier modelo base. La regresión lineal es un modelo, por lo que técnicamente califica.
Sin embargo, en la práctica se verá rápidamente que esto no es muy útil.
Pero nada nos impide hacerlo. Y precisamente porque no es muy útil, constituye un excelente ejemplo de aprendizaje. Así que hagámoslo.
Para cada muestra de arranque, ajustamos una regresión lineal. En Excel, esto es sencillo. Podemos usar directamente la función ESTIMACIÓN LINEAL para estimar los coeficientes. Cada color en el gráfico corresponde a una muestra de arranque y su línea de regresión asociada.
Hasta ahora todo se comporta exactamente como se esperaba. Las líneas están cercanas entre sí, pero no son idénticas. Cada muestra de arranque cambia ligeramente los coeficientes y, por lo tanto, la línea ajustada.
Ahora viene la observación clave.
Puede observar que un modelo adicional está trazado en negro. Éste corresponde a la regresión lineal estándar ajustada al conjunto de datos original, sin arranque.
¿Qué pasa cuando lo comparamos con los modelos embolsados?
Cuando promediamos las predicciones de todas estas regresiones lineales, el resultado final sigue siendo una regresión lineal. La forma de la predicción no cambia. La relación entre las variables sigue siendo lineal. No creamos un modelo más expresivo.
Y lo que es más importante, el modelo en bolsas termina siendo muy cercano a la regresión lineal estándar entrenada con los datos originales.
Incluso podemos llevar el ejemplo más lejos utilizando un conjunto de datos con una estructura claramente no lineal. En este caso, cada regresión lineal ajustada a una muestra bootstrap tiene problemas a su manera. Algunas líneas se inclinan ligeramente hacia arriba, otras hacia abajo, dependiendo de qué observaciones se duplicaron o faltaron en la muestra.
Intervalos de confianza de bootstrap
Desde el punto de vista del rendimiento de la predicción, la regresión lineal ensacada no es muy útil.
Sin embargo, el bootstrapping sigue siendo extremadamente útil para una noción estadística importante: estimar el intervalo de confianza de las predicciones.
En lugar de observar solo la predicción promedio, podemos observar la distribución de las predicciones producidas por todos los modelos bootstrap. Para cada valor de entrada, ahora tenemos muchos valores predichos, uno de cada muestra de arranque.
Una forma sencilla e intuitiva de cuantificar la incertidumbre es calcular la desviación estándar de estas predicciones. Esta desviación estándar nos dice qué tan sensible es la predicción a los cambios en los datos. Un valor pequeño significa que la predicción es estable. Un valor grande significa que es incierto.
Esta idea funciona naturalmente en Excel. Una vez que tenga todas las predicciones de los modelos de arranque, calcular su desviación estándar es sencillo. El resultado puede interpretarse como una banda de confianza alrededor de la predicción.
Esto es claramente visible en el gráfico siguiente. La interpretación es sencilla: en regiones donde los datos de entrenamiento son escasos o muy dispersos, el intervalo de confianza se vuelve amplio, ya que las predicciones varían significativamente entre las muestras de arranque.
Por el contrario, cuando los datos son densos, las predicciones son más estables y el intervalo de confianza se estrecha.
Ahora bien, cuando aplicamos esto a datos no lineales, algo queda muy claro. En regiones donde el modelo lineal tiene dificultades para ajustarse a los datos, las predicciones de diferentes muestras de arranque se extienden mucho más. El intervalo de confianza se hace más amplio.
Esta es una idea importante. Incluso cuando el embolsado no mejora la precisión de la predicción, proporciona información valiosa sobre la incertidumbre. Nos dice dónde el modelo es confiable y dónde no lo es.
Ver estos intervalos de confianza surgir directamente de muestras de arranque en Excel hace que este concepto estadístico sea muy concreto e intuitivo.
Embolsar árboles de decisión: de alumnos débiles a un modelo fuerte
Ahora pasamos a los árboles de decisión.
El principio de ensacado sigue siendo exactamente el mismo. Generamos múltiples muestras de arranque, entrenamos un modelo en cada una de ellas y luego agregamos sus predicciones.
Mejoré la implementación de Excel para que el proceso de división sea más automático. Para mantener las cosas manejables en Excel, restringimos los árboles a una sola división. Es posible construir árboles más profundos, pero rápidamente se vuelve engorroso en una hoja de cálculo.
A continuación, puedes ver dos de los árboles iniciados. En total, construí ocho simplemente copiando y pegando fórmulas, lo que hace que el proceso sea sencillo y fácil de reproducir.
Dado que los árboles de decisión son modelos altamente no lineales y sus predicciones son constantes por partes, promediar sus resultados tiene un efecto de suavizado.
Como resultado, el embolsado suaviza naturalmente las predicciones. En lugar de saltos bruscos creados por árboles individuales, el modelo agregado produce transiciones más graduales.
En Excel, este efecto es muy fácil de observar. Las predicciones en bolsas son claramente más fluidas que las predicciones de cualquier árbol individual.
Es posible que algunos de ustedes ya hayan oído hablar de los tocones de decisión, que son árboles de decisión con una profundidad máxima de uno. Eso es exactamente lo que usamos aquí. Cada modelo es extremadamente simple. Por sí solo, un muñón es un aprendiz débil.
La pregunta aquí es:
¿Es suficiente una colección de tocones de decisión cuando se combina con el embolsado?
Volveremos a esto más adelante en mi “Calendario de Adviento” de aprendizaje automático.
Bosque aleatorio: ampliación del ensacado
¿Qué pasa con el bosque aleatorio?
Este es probablemente uno de los modelos favoritos entre los científicos de datos.
Entonces, ¿por qué no hablar de ello aquí, incluso en Excel?
De hecho, ¡lo que acabamos de construir ya está muy cerca de un Bosque Aleatorio!
Para entender por qué, recuerde que Random Forest introduce dos fuentes de aleatoriedad.
El primero es el arranque del conjunto de datos. Esto es exactamente lo que ya hemos hecho con el embolsado. El segundo es la aleatoriedad en el proceso de división. En cada división, sólo se considera un subconjunto aleatorio de características.
En nuestro caso, sin embargo, sólo tenemos una característica. Eso significa que no hay nada para elegir. La aleatoriedad de características simplemente no se aplica.
Como resultado, lo que obtenemos aquí puede verse como un bosque aleatorio simplificado.
Una vez que este concepto está claro, extender la idea a múltiples funciones es solo una capa adicional de aleatoriedad, no un concepto nuevo.
Y quizás incluso te preguntes: podemos aplicar este principio a la regresión lineal y hacer una regresión aleatoria.
Conclusión
El aprendizaje conjunto se trata menos de modelos complejos y más de gestionar la inestabilidad.
La votación simple rara vez es efectiva. La regresión lineal ensacada cambia poco y sigue siendo principalmente pedagógica, aunque es útil para estimar la incertidumbre. Sin embargo, con los árboles de decisión, el embolsado realmente importa: promediar modelos inestables conduce a predicciones más fluidas y sólidas.
Random Forest naturalmente extiende esta idea agregando aleatoriedad adicional, sin cambiar el principio central. Vistos en Excel, los métodos de conjunto dejan de ser cajas negras y se convierten en el siguiente paso lógico.
Lectura adicional
Gracias por su apoyo a mi “Calendario de Adviento” de aprendizaje automático.
La gente suele hablar mucho sobre el aprendizaje supervisado, pero a veces se pasa por alto el aprendizaje no supervisado, aunque puede revelar una estructura que ninguna etiqueta podría mostrar jamás.
Si desea explorar más a fondo estas ideas, aquí tiene tres artículos que profundizan en potentes modelos no supervisados.
Modelo de mezcla gaussiana
Una versión mejorada y más flexible de k-means.
A diferencia de k-means, GMM permite que los grupos se estiren, roten y se adapten a la forma real de los datos.
Pero, ¿cuándo k-means y GMM realmente producen resultados diferentes?
Eche un vistazo a este artículo para ver ejemplos concretos y comparaciones visuales.
Factor de valores atípicos locales (LOF)
Un método inteligente que compara la densidad local de cada punto con la de sus vecinos para detectar anomalías.
Todos los archivos de Excel están disponibles a través de este enlace de Kofi. Tu apoyo significa mucho para mí. El precio aumentará durante el mes, por lo que los primeros seguidores obtendrán el mejor valor.