Su modelo no está terminado: comprender y corregir la deriva del modelo

Tienes tu modelo en producción.

Se trata de hacer predicciones y entregárselas a las partes interesadas.

El oleoducto está automatizado.

Ahora es el momento de descansar y relajarse, su trabajo está hecho.

A mí también me gusta soñar.

Muy bien, volvamos a la realidad. Analicemos la deriva del modelo: qué es, por qué ocurre, cómo detectarla y cómo abordarla antes de que destruya secretamente el desempeño y, junto con él, la confianza de las partes interesadas en el modelo.

¿Qué es la deriva del modelo?

La deriva del modelo es el deterioro del rendimiento de un modelo predictivo con el tiempo, e incluso los modelos más potentes y precisos corren el riesgo de sufrirlo. La deriva del modelo no es un reflejo de técnicas de entrenamiento deficientes o de una mala recopilación de datos, sino más bien algo a lo que todos los científicos de datos deben estar atentos.

Imagen de VectorElements en Unsplash

Veamos un ejemplo. Un modelo de clasificador binario se entrena con dos años de datos históricos. El rendimiento es bueno, AUC en los bajos 0,9 s, precisión y recuperación suficientemente altas. El modelo pasa la etapa de revisión por pares y llega al entorno de producción. Aquí comienza a hacer predicciones en vivo. Después de 90 días, el científico de datos consulta las predicciones que el modelo ha realizado en producción y las ejecuta a través de un script de validación que calcula métricas de rendimiento. El rendimiento está a la par de las expectativas de POC (prueba de concepto) y se transmite a las partes interesadas: “El modelo funciona como se esperaba. Las predicciones son precisas”.

Avance rápido dos años. Llega una solicitud para investigar el modelo. Se informa que constantemente se hacen predicciones incorrectas y las partes interesadas están perdiendo confianza en el modelo. Incluso se menciona la posibilidad de utilizar su antiguo método de hoja de cálculo de Excel si las cosas siguen así. El científico de datos consulta los datos de los últimos 6 meses y los ejecuta a través del script de validación. El científico de datos se frota los ojos, revisa sus notas y se queda estupefacto. El AUC se sitúa en 0,6, la precisión y la recuperación son dramáticamente bajas. “¿Cómo puede ser esto? Entrené un buen modelo. ¡Incluso validé el modelo después de que se puso en marcha! ¿Qué pasó?” pregunta el científico de datos. La deriva del modelo es lo que sucedió. Se coló sin ser detectado durante meses y causó estragos en las predicciones.

Ésta es la dura realidad a la que se enfrentan muchos modelos predictivos en producción. Hablemos de por qué sucede.

¿Por qué ocurre la deriva del modelo?

En resumen, la deriva del modelo se produce porque los modelos viven en el mundo real. El modelo fue entrenado en una realidad, y esa realidad ha cambiado de alguna manera desde que se implementó en producción.

Una de las causas más comunes de la desviación del modelo es un cambio en la forma en que se registran los datos. Cuando los datos se recopilaron inicialmente para el entrenamiento, las funciones predictivas y el objetivo parecían de una manera, y ahora son diferentes. El algoritmo aprendió la relación específica entre ellos, pero ahora esa relación ha cambiado. El modelo no ha aprendido cómo manejar la nueva relación, por lo que continúa haciendo predicciones lo mejor que puede teniendo en cuenta cómo fue entrenado.

La deriva del modelo normalmente se divide en dos categorías:

Deriva de datos (cambio de características)

Deriva conceptual (cambio de relaciones/cambio de población)

Veamos algunos ejemplos.

Ejemplo n.º 1: deriva de datos

La altura y el peso se utilizan para predecir el riesgo de diabetes. El científico de datos recopiló dos años de datos de pacientes, asegurándose de obtener la altura de cada paciente en pulgadas, su peso en libras y si ese paciente terminó o no con diabetes un año después de ser medido. Dos años más tarde, un nuevo proceso de medición requiere que las enfermeras documenten la altura en centímetros y el peso en kilogramos y el modelo comienza a hacer predicciones tremendamente inexactas debido a ello. Por ejemplo, un paciente que mide 6 pies de altura solía tener una altura documentada de 72 pulgadas, pero ahora tiene una altura documentada de 183 centímetros. Este paciente pesa 200 libras, lo que ahora está documentado como 91 kilogramos. El modelo no sabe que es necesario realizar una conversión para tener en cuenta el cambio en unidades. Se espera que se le proporcionen las características de las unidades en las que fue entrenado, por lo que predice que la persona mide 183 pulgadas (más de 15 pies) de altura y pesa 91 libras. ¡No es de extrañar que la predicción no tenga sentido!

Ejemplo #2: Deriva del concepto

Su equipo de científicos de datos construye un modelo de riesgo de reingreso para un sistema hospitalario. Tres años después de su entrada en funcionamiento, su sistema adquiere cuatro grandes hospitales en el estado vecino. Estos hospitales tienen una demografía de pacientes muy diferente, significativamente diferente a la población original en la que se entrenó el modelo. Cuando el modelo se implementa en los nuevos hospitales, los proveedores notan que realiza muchas predicciones falsas positivas y falsas negativas. Se debe volver a entrenar el modelo para incluir datos de estos nuevos hospitales.

Cómo detectar y corregir la deriva del modelo

La deriva del modelo puede ocurrir gradualmente, con una degradación lenta del rendimiento durante un largo período de tiempo, o puede ocurrir rápidamente, con una caída repentina y obvia del rendimiento. Esta naturaleza variable puede dificultar la preparación y aún más difícil detectarla sin las herramientas adecuadas.

Imagen del autor

Monitorear periódicamente el rendimiento en producción es la mejor manera de detectar la desviación del modelo.

Si no está monitoreando su modelo en producción, no notará ninguna desviación hasta que las partes interesadas lo hagan.

Un panel o un cuaderno rápido que se pueda ejecutar cada dos semanas puede ser una forma sencilla de visualizar el rendimiento del modelo y detectar cualquier deterioro a lo largo del tiempo. Simplemente trace la precisión, recuperación, AUC, MAE, MSE o cualquier otra métrica de rendimiento adecuada para su modelo en el eje y y la fecha en el eje x. Lo que se debe esperar es una ligera variación de una semana a otra, pero grandes desviaciones del promedio indican que algo ha cambiado y podría estar ocurriendo una deriva. Un gráfico de distribución y falta de características también puede ayudarle a profundizar en los predictores individuales, lo que le ayudará a determinar la causa de la deriva. Esto podría verse como el recuento de valores NA o NULL por característica a lo largo del tiempo, o el valor promedio por característica a lo largo del tiempo.

De hecho, detecté la deriva del modelo en uno de mis modelos utilizando el método anterior. Noté una caída en la precisión en mi modelo de acceso difícil IV. Después de algunas semanas de valores de precisión consistentemente inferiores a los esperados, comencé a sospechar. Mi gerente sugirió investigar la falta de funciones como una causa potencial. He aquí que la tercera característica más importante, el historial de desnutrición, tuvo un gran aumento en los valores NULL la misma semana en que el rendimiento de mi modelo comenzó a deteriorarse. Descubrimos que se habían realizado algunos ajustes en el SQL que impulsó la creación de la característica en producción y que una unión no se comportaba como se esperaba. Actualizamos el SQL y la precisión volvió a los niveles normales a partir de ese día.

Imagen de Sayyam Abbasi en Unsplash

Esto me lleva a mi punto final: cómo solucionar la deriva del modelo. Hay varias formas de solucionar la deriva, cada una apropiada en diferentes escenarios. Como vio anteriormente, una forma de corregir la desviación es reparar las entradas/datos al mismo formato en el que existían para el entrenamiento del modelo. Esta es la forma más sencilla y rápida de corregir la deriva y, si es posible, debería ser la opción predeterminada. Esto se puede hacer en cualquier parte del proceso de carga de datos, desde el ETL de la base de datos hasta el código del cuaderno posterior donde se realizan las precondiciones. Si la altura se registra en centímetros y su modelo espera que sea en pulgadas, se puede realizar una conversión antes de las predicciones.

Sin embargo, a veces los datos no se pueden cambiar. Quizás la gobernanza de datos haya definido un punto de datos de manera más formal y ahora las unidades estén estandarizadas y esas unidades sean diferentes de aquellas en las que se entrenó su modelo. O bien, un flujo de trabajo impide que los datos se carguen en el mismo formato. Otra solución, aunque requiere un poco más de esfuerzo, es volver a entrenar el modelo. Volver a entrenar el modelo con datos nuevos le permite volver a aprender la relación entre las variables, estableciendo un modelo que funcione de manera confiable con los nuevos datos que se le suministran. Los cambios en la población casi siempre requieren un reentrenamiento del modelo.

Concluyendo

La deriva del modelo puede sorprender a cualquier científico de datos desprevenido. Si se deja pasar el tiempo suficiente, puede destruir el rendimiento y la confianza del usuario. Pero no es algo que deba temer. Con las herramientas adecuadas, es posible detectar la deriva y solucionarla. Ser capaz de reconocer cuándo se produce una desviación del modelo y tener el conocimiento para identificar la causa y determinar la solución es lo que separa a los científicos de datos que están felices de poner un modelo en producción, de aquellos que saben cómo construir un modelo que pueda tener un impacto duradero.