en un Artículo anterior, exploramos los conceptos básicos de la deriva de conceptos. La deriva de conceptos ocurre cuando cambia la distribución de un conjunto de datos.
Esta publicación continúa explorando este tema. Aquí aprenderá cómo detectar la desviación de conceptos en problemas en los que no tiene acceso a las etiquetas. Esta tarea es un desafío porque sin etiquetas no podemos evaluar el desempeño de los modelos.
Vamos a sumergirnos.
Los conjuntos de datos que evolucionan con el tiempo son susceptibles de derivar conceptos. Los cambios en las distribuciones pueden socavar los modelos y la precisión de sus predicciones. Por eso, es importante detectar y adaptarse a estos cambios para mantener los modelos actualizados.
La mayoría de los enfoques de detección de cambios se basan en el seguimiento del error del modelo. La idea es activar una alarma cuando este error aumente significativamente. Luego, se activa algún mecanismo de adaptación, como volver a entrenar el modelo.
En el Artículo anterior, argumentamos que tener acceso a las etiquetas puede resultar difícil en algunos casos. Los ejemplos aparecen en muchos ámbitos, como la detección de fraude o la evaluación del riesgo crediticio. En este último caso, el tiempo que tarda una persona en incumplir (y proporcionar una etiqueta en su evaluación) puede llevar varios años.
En estos casos, hay que detectar cambios utilizando enfoques que no dependan del rendimiento.
En general, tienes dos opciones para detectar cambios sin etiquetas:
- Realice un seguimiento de las predicciones del modelo.
- Seguimiento de los datos de entrada (variables explicativas).
En ambos casos, el cambio se detecta cuando la distribución cambia significativamente.
Como funciona esto exactamente?
La detección de cambios sin etiquetas se realiza comparando dos muestras de datos. Una muestra representa los datos más recientes, también denominada ventana de detección. El otro contiene datos de la distribución original (ventana de referencia).
Así, el proceso de detección se divide en dos partes:
- Construyendo las dos muestras