Hacia un control sintético fiable |  de Hang Yu |  abril de 2024

Acercar el efecto del tratamiento estimado a la verdad

Foto por Jørgen Håland en desempaquetar

Introducción

En los últimos años, el enfoque de control sintético (SC) ha ganado una adopción cada vez mayor en la industria para medir el efecto promedio del tratamiento (ATE) de las intervenciones cuando no hay ensayos de control aleatorios (ECA) disponibles. Un ejemplo de ello es la medición del impacto financiero de los anuncios exteriores en vallas publicitarias, por lo que en la práctica no podemos realizar una asignación aleatoria de tratamientos.

La idea básica de SC es estimar el ATE comparando el grupo de tratamiento con el contrafactual previsto. Sin embargo, la aplicación del CS en la práctica suele verse cuestionada por el conocimiento limitado de su validez debido a la ausencia de un verdadero contrafactual en el mundo real. Para mitigar la preocupación, en este artículo me gustaría analizar las mejores prácticas prácticas que ayudan a maximizar la confiabilidad de la estimación del SC.

Los conocimientos y conclusiones se obtienen a través de experimentos basados ​​en diversos datos sintéticos. El código para la generación de datos, el modelado de inferencia causal y el análisis está disponible en el cuaderno Jupyter alojado en GitHub.

Control sintético en pocas palabras

La clave para medir el ATE de tales eventos es identificar el contrafactual del grupo de tratamiento, que es el grupo de tratamiento en ausencia del tratamiento, y cuantificar la diferencia posterior al tratamiento entre los dos. Para los ECA es sencillo, ya que el control aleatorio se aproxima estadísticamente al contrafactual. Sin embargo, de lo contrario es un desafío debido a las estadísticas previas al experimento desiguales entre el tratamiento y el control.

Como técnica de inferencia causal, SC representa el contrafactual de un grupo de control sintético creado a partir de algunas unidades de control no tratadas. Este grupo de control sintético es estadísticamente igual al grupo de tratamiento antes del tratamiento y se espera que se aproxime al comportamiento no tratado del grupo de tratamiento después del tratamiento. Matemáticamente presentado a continuación, se crea usando la función F cuyos parámetros se obtienen minimizando la diferencia previa al tratamiento entre el grupo tratado y el control sintetizado por F [1]:

En el experimento, hay grupos J, donde el grupo 1 es el grupo de tratamiento y los demás son controles. Cada grupo tiene su resultado observado en el tiempo t denotado por Yjt. f es el modelo y Y1t^N se refiere al contrafactual. Imagen del autor.

En la práctica, las opciones populares para la función. F incluyen pero no se limitan a el suma ponderada [1]Series temporales estructurales bayesianas (BSTS) [2]etc.

Acciones hacia un control sintético confiable

A pesar de la sólida base teórica, la aplicación de SC en la práctica generalmente enfrenta el desafío de que no sabemos qué tan preciso es el ATE estimado porque en realidad no existe un contrafactual post-tratamiento para validar el sintetizado. Sin embargo, hay algunas acciones que podemos tomar para optimizar el proceso de modelado y maximizar la confiabilidad. A continuación, describiré estas acciones y demostraré cómo influyen en el ATE estimado a través de una serie de experimentos basados ​​en datos sintéticos de series de tiempo con diversas características temporales.

Configuración del experimento

Todos los experimentos presentados en este artículo se basan en datos sintéticos de series de tiempo. Estos datos se generan utilizando el generador de series temporales paquete que produce series temporales que capturan los factores del mundo real, incluidos el PIB, los días festivos, los fines de semana, etc.

La generación de datos tiene como objetivo simular el rendimiento de la campaña de las tiendas en Nueva Zelanda del 01/01/2019 al 31/12/2019. Para que las posibles conclusiones sean estadísticamente significativas, se generan 500 series temporales para representar las tiendas. Cada serie temporal tiene la tendencia lineal estadísticamente aleatoria, el ruido blanco, el factor de tienda, el factor de vacaciones, el factor de día laborable y la estacionalidad. A continuación se presenta una muestra aleatoria de 10 tiendas.

Serie temporal sintética muestreada aleatoriamente para 10 tiendas en Nueva Zelanda. Imagen del autor.

Se selecciona Store1 como grupo de tratamiento, mientras que otros desempeñan el papel de grupos de control. A continuación, el resultado de store1 se incrementa en un 20 % desde el 1 de septiembre de 2019 en adelante para simular el comportamiento tratado, mientras que su resultado original sirve como contrafactual real. Este aumento del 20% establece el ATE real para validar las acciones más adelante.

cutoff_date_sc = '2019-09-01'
df_sc.loc[cutoff_date_sc:] = df_sc.loc[cutoff_date_sc:]*1.2

La siguiente figura visualiza el efecto del tratamiento simulado y el verdadero contrafactual del grupo de tratamiento.

El ATE simulado de +20% y el verdadero contrafactual de tienda1. Imagen del autor.

Dados los datos sintéticos, se adopta la BSTS en Causalimpact para estimar el ATE sintetizado. Luego, la estimación se compara con el ATE real utilizando el error porcentual absoluto medio (MAPE) para evaluar la acción correspondiente.

A continuación, repasemos las acciones junto con los experimentos relacionados para ver cómo producir una estimación ATE confiable.

Correlación tratamiento-control

La primera acción para lograr una estimación confiable de ATE es seleccionar los grupos de control que exhiban altas correlaciones previas al tratamiento con el grupo de tratamiento. La razón es que es probable que un control altamente correlacionado se parezca consistentemente al grupo de tratamiento no tratado con el tiempo.

Para validar esta hipótesis, evaluemos la estimación de ATE producida utilizando cada control con sus datos completos desde el 01/01/2019 para comprender el impacto de la correlación. En primer lugar, se calculan los coeficientes de correlación entre el grupo de tratamiento (tienda1) y los grupos de control (tienda2 a 499). [3].

def correlation(x, y):
shortest = min(x.shape[0], y.shape[0])
return np.corrcoef(x.iloc[:shortest].values, y.iloc[:shortest].values)[0, 1]

Como se muestra en la figura siguiente, la distribución de las correlaciones oscila entre -0,1 y 0,9, lo que proporciona una comprensión integral del impacto en varios escenarios.

Distribución de la correlación previa al tratamiento. Imagen del autor.

Luego, cada control individual se utiliza para predecir el contrafactual, estimar el ATE y reportar el MAPE. En la siguiente figura, el MAPE promedio de ATE con su intervalo de confianza del 95% se representa frente a la correlación previa al tratamiento correspondiente. Aquí, los coeficientes de correlación se redondean a un decimal para facilitar la agregación y mejorar la significancia estadística en el análisis. Al observar los resultados, es obvio que la estimación muestra una mayor confiabilidad cuando el control se correlaciona más con el grupo de tratamiento.

El MAPE de ATE para diferentes niveles de correlación. Imagen del autor.

Ahora veamos algunos ejemplos que demuestran el impacto de la correlación previa al tratamiento: store88 con una correlación de 0,88 ofrece un MAPE de 0,12 que es superior al 0,62 proporcionado por store3 con una correlación de 0,43. Además de la prometedora precisión, los intervalos probabilísticos son correspondientemente estrechos, lo que implica una alta certeza de predicción.

Ejemplo para demostrar el impacto de la correlación. Imagen del autor.

Ventana de ajuste del modelo

A continuación, es necesario configurar correctamente la ventana de adaptación, que es la duración del intervalo de pretratamiento utilizado para ajustar el modelo. Esto se debe a que demasiado contexto podría dar lugar a una pérdida de actualidad, mientras que un contexto insuficiente podría provocar un sobreajuste.

Para comprender cómo la ventana de ajuste afecta la precisión de la estimación de ATE, se experimenta con una amplia gama de valores desde 1 mes hasta 8 meses antes de la fecha del tratamiento. Para cada ventana de ajuste, cada unidad de los 499 grupos de control se evalúa individualmente y luego se agrega para calcular el MAPE promediado con el intervalo de confianza del 95 %. Como se muestra en la figura siguiente, existe un punto óptimo cerca de los 2 y 3 meses que optimiza la confiabilidad. Identificar el punto óptimo está fuera del alcance de esta discusión, pero vale la pena señalar que la ventana de capacitación debe seleccionarse cuidadosamente.

El MAPE de ATE para diferentes ventanas de entrenamiento. Imagen del autor.

La figura muestra dos ejemplos: el MAPE del grupo de control 199 se reduce de 0,89 a 0,68 cuando su ventana de ajuste se aumenta de 1 mes a 3 meses porque la ventana corta no contiene conocimiento suficiente para producir el contrafactual.

Ejemplo para demostrar el impacto de la ventana de entrenamiento. Imagen del autor.

Número de unidades de control

Por último, importa el número de grupos de control seleccionados.

Esta hipótesis se valida investigando la precisión de la estimación para diferentes números de controles que van del 1 al 10. En detalle, para cada recuento de control, el MAPE promediado se calcula en base a las estimaciones producidas por 50 conjuntos de controles aleatorios, cada uno de los cuales contiene el número correspondiente de grupos de control. Esta operación evita enumerar innecesariamente todas las combinaciones posibles de controles mientras controla estadísticamente la correlación. Además, la ventana de adaptación se establece en 3 meses para cada estimación.

Al observar los resultados a continuación, aumentar el número de controles conduce en general a una estimación de ATE más confiable.

El MAPE de ATE para diferente número de controles. Imagen del autor.

Los ejemplos siguientes demuestran el efecto. La primera estimación se genera utilizando store311, mientras que la segunda agrega store301 y store312.

Ejemplo para demostrar el impacto del número de controles. Imagen del autor.

Conclusiones

En este artículo, analicé las posibles acciones que hacen que la estimación del SC sea más confiable. Con base en los experimentos con diversos datos sintéticos, la correlación previa al tratamiento, la ventana de ajuste y el número de unidades de control se identifican como direcciones convincentes para optimizar la estimación. Encontrar el valor óptimo para cada acción está fuera del alcance de esta discusión. Sin embargo, si está interesado, busque parámetros utilizando un período en blanco aislado para la validación. [4] es una posible solución.

Todas las imágenes son producidas por el autor a menos que se indique lo contrario. Las discusiones están inspiradas en la gran obra “Controles sintéticos en acción” [1].

Referencias

[1] Abadie, Alberto y Jaume Vives-i-Bastida. “Controles sintéticos en acción”. preimpresión de arXiv arXiv:2203.06279 (2022).

[2]Brodersen, Kay H. y col. “Inferir el impacto causal utilizando modelos estructurales bayesianos de series de tiempo”. (2015): 247–274.

[3]https://medium.com/@dreamferus/how-to-synchronize-time-series-using-cross-correlation-in-python-4c1fd5668c7a

[4]Abadie, Alberto y Jinglong Zhao. “Controles sintéticos para el diseño experimental”. preimpresión de arXiv arXiv:2108.02196 (2021).