de tratamientos en experimentos tiene la sorprendente tendencia a equilibrar los factores de confusión y otras covariables entre los grupos de prueba. Esta tendencia proporciona muchas características favorables para analizar los resultados de los experimentos y sacar conclusiones. Sin embargo, la aleatorización tiende a equilibrar las covariables; no está garantizada.
¿Qué pasa si la aleatorización no equilibra las covariables? ¿El desequilibrio socava la validez del experimento?
Luché con esta pregunta durante algún tiempo antes de llegar a una conclusión satisfactoria. En este artículo, lo guiaré a través del proceso de pensamiento que tomé para comprender que la validez experimental depende de la independencia de las covariables y el tratamiento, no del equilibrio.
Estos son los temas específicos que cubriré:
La aleatorización tiende a equilibrar las covariables. Qué causa el desequilibrio de las covariables incluso con la aleatorización. La validez experimental tiene que ver con la independencia y no con el equilibrio.
La aleatorización tiende a equilibrar las covariables, pero no hay garantía
El teorema del límite central (CLT) muestra que la media de una muestra seleccionada al azar se distribuye normalmente con una media igual a la media poblacional y una varianza igual a la varianza poblacional dividida por el tamaño de la muestra. Este concepto es muy aplicable a nuestra conversación porque estamos interesados en el equilibrio, es decir, cuando las medias de nuestras muestras aleatorias son cercanas. El CLT proporciona una distribución para estas medias muestrales.
Gracias al CLT, podemos pensar en la media de una muestra de la misma manera que lo haríamos con cualquier otra variable aleatoria. Si recuerda la probabilidad 101, dada la distribución de una variable aleatoria, podemos calcular las probabilidades de que un individuo extraído de la distribución se encuentre dentro de un rango específico.
Antes de volvernos demasiado teóricos, veamos un ejemplo para desarrollar la intuición. Digamos que queremos hacer un experimento que necesita dos grupos de conejos seleccionados al azar. Supondremos que el peso de un conejo individual se distribuye básicamente normalmente con una media de 3,5 libras y una variación de 0,25 libras.
La siguiente función simple de Python calcula la probabilidad de que nuestra muestra aleatoria de conejos se encuentre en un rango específico dada la distribución de la población y el tamaño de la muestra:
desde scipy.stats importe norma def normal_range_prob(inferior, superior, pop_mean, pop_std, sample_size): sample_std = pop_std/np.sqrt(sample_size) Upper_prob = norm.cdf(superior, loc=media, escala=sample_std) lower_prob = norm.cdf(inferior, loc=media, escala=sample_std) devolver prob_superior – prob_inferior
Digamos que consideraríamos dos medias muestrales equilibradas si ambas caen dentro de +/- 0,10 libras de la media poblacional. Además, comenzaremos con una muestra de 100 conejos cada uno. Podemos calcular la probabilidad de que la media de una sola muestra caiga en este rango usando nuestra función como se muestra a continuación:
Con un tamaño de muestra de 100 conejos, tenemos aproximadamente un 95% de posibilidades de que la media de nuestra muestra se encuentre dentro de 0,1 libras de la media de la población. Debido a que el muestreo aleatorio de dos grupos son eventos independientes, podemos usar la regla del producto para calcular la probabilidad de que dos muestras estén dentro de 0,1 libras de la media poblacional simplemente elevando al cuadrado la probabilidad original. Entonces, la probabilidad de que las dos muestras estén equilibradas y cercanas a la media poblacional es del 0,90% (0,952). Si tuviéramos tres tamaños de muestra, la probabilidad de que todos se equilibraran cerca de la media es 0,953 = 87%.
Hay dos relaciones que quiero mencionar aquí: (1) cuando el tamaño de la muestra aumenta, la probabilidad de equilibrar aumenta y (2) a medida que aumenta el número de grupos de prueba, la probabilidad de que todos se equilibren disminuye.
La siguiente tabla muestra la probabilidad de que todos los grupos de prueba asignados aleatoriamente se equilibren para múltiples tamaños de muestra y números de grupos de prueba:
Aquí vemos que con un tamaño de muestra suficientemente grande, es muy probable que el peso de nuestro conejo simulado se equilibre, incluso con 5 grupos de prueba. Pero, con una combinación de tamaños de muestra más pequeños y más grupos de prueba, esa probabilidad se reduce.
Ahora que entendemos cómo la aleatorización tiende a equilibrar las covariables en circunstancias favorables, entraremos en una discusión sobre por qué las covariables a veces no se equilibran.
Nota: En esta discusión, solo consideramos la posibilidad de que las covariables se equilibren cerca de la media muestral. Hipotéticamente, podrían equilibrarse en un lugar alejado de la media muestral, pero eso sería muy improbable. Aquí ignoramos esa posibilidad, pero quería señalar que sí existe.
Causas de los desequilibrios de covariables a pesar de la asignación aleatoria
En la discusión anterior, intuimos por qué las covariables tienden a equilibrarse con la asignación aleatoria. Ahora pasaremos a discutir qué factores pueden generar desequilibrios en las covariables entre los grupos de prueba.
A continuación se presentan las cinco razones que cubriré:
Mala suerte en el muestreo Tamaños de muestra pequeños Distribuciones de covariables extremas Muchos grupos de prueba Muchas covariables impactantes
Mala suerte en el muestreo.
El equilibrio de covariables siempre está asociado con probabilidades y nunca existe una probabilidad perfecta de equilibrio del 100%. Debido a esto, siempre existe la posibilidad (incluso bajo muy buenas condiciones de aleatorización) de que las covariables en un experimento no se equilibren.
Tamaños de muestra pequeños
Cuando tenemos muestras de tamaño pequeño, la varianza de nuestra distribución media es grande. Esta gran variación puede generar altas probabilidades de grandes diferencias en nuestras covariables promedio entre las poblaciones de prueba, lo que en última instancia puede conducir a un desequilibrio de covariables.
Hasta ahora, también hemos asumido que todos nuestros grupos de tratamiento tienen el mismo tamaño de muestra. Hay muchas circunstancias en las que querremos tener diferentes tamaños de muestra entre los grupos de tratamiento. Por ejemplo, podemos tener un medicamento preferido para pacientes con una enfermedad específica; pero también queremos probar si un nuevo medicamento es mejor. Para una prueba como esta, queremos mantener a la mayoría de los pacientes con el medicamento preferido y asignar aleatoriamente a algunos pacientes a un medicamento potencialmente mejor, pero no probado. En situaciones como esta, los grupos de prueba más pequeños tendrán una distribución más amplia para su media muestral y, por lo tanto, tendrán una mayor probabilidad de tener una media muestral más alejada de la media poblacional, lo que puede causar desequilibrios.
Distribuciones de covariables extremas
El CLT identifica correctamente que la media muestral de cualquier distribución se distribuye normalmente con un tamaño de muestra suficiente. Sin embargo, un tamaño de muestra suficiente no es el mismo para todas las distribuciones. Las distribuciones extremas requieren un mayor tamaño de muestra para que la media muestral se distribuya normalmente. Si una población tiene covariables con distribuciones extremas, se necesitarán muestras más grandes para que las medias muestrales se comporten bien. Si los tamaños de muestra son relativamente grandes, pero demasiado pequeños para compensar las distribuciones extremas, es posible que se enfrente al problema del tamaño de muestra pequeño que analizamos en la sección anterior, aunque tenga un tamaño de muestra grande.
Muchos grupos de prueba
Idealmente, queremos que todos los grupos de prueba tengan covariables equilibradas. A medida que aumenta el número de grupos de prueba, eso se vuelve cada vez menos probable. Incluso en casos extremos en los que un solo grupo de prueba tiene un 99 % de posibilidades de estar cerca de la media de la población, tener 100 grupos significa que deberíamos esperar que al menos uno quede fuera de ese rango.
Aunque cien grupos de prueba parecen bastante extremos. No es una práctica poco común tener muchos grupos de prueba. Los diseños experimentales comunes incluyen múltiples factores a probar, cada uno con varios niveles. Imaginemos que estamos probando la eficacia de diferentes nutrientes vegetales en el crecimiento de las plantas. Es posible que queramos probar 4 nutrientes diferentes y 3 niveles diferentes de concentración. Si este experimento fuera de rango completo (creamos un grupo de prueba para cada combinación posible de tratamientos), crearíamos 81 (34) grupos de prueba.
Muchas covariables impactantes
En nuestro ejemplo de experimento con conejos, solo analizamos una única covariable. En la práctica, queremos que todas las covariables impactantes se equilibren. Cuantas más covariables impactantes haya, es menos probable que se logre un equilibrio completo. De manera similar al problema de demasiados grupos de prueba, cada covariable tiene una probabilidad de no equilibrarse: cuantas más covariables, menos probable es que todas se equilibren. Deberíamos considerar no sólo las covariables que sabemos que son importantes, sino también las no medidas que no rastreamos o que ni siquiera conocemos. Queremos que esos también se equilibren.
Éstas son cinco razones por las que es posible que no veamos equilibrio en nuestras covariables. No es una lista exhaustiva, pero sí suficiente para saber dónde suele surgir el problema. Ahora estamos en una buena posición para empezar a hablar de por qué los experimentos son válidos incluso si las covariables no se equilibran.
La validez del experimento tiene que ver con la independencia, no con el equilibrio
Las covariables equilibradas tienen beneficios al analizar los resultados de un experimento, pero no son necesarias para su validez. En esta sección, exploraremos por qué el equilibrio es beneficioso, pero no necesario, para un experimento válido.
Beneficios de las covariables equilibradas
Cuando las covariables se equilibran entre los grupos de prueba, las estimaciones del efecto del tratamiento tienden a ser más precisas, con una varianza menor en la muestra experimental.
A menudo es una buena idea incluir covariables en el análisis de un experimento. Cuando las covariables se equilibran, los efectos estimados del tratamiento son menos sensibles a la inclusión y especificación de covariables en el análisis. Cuando las covariables no se equilibran, tanto la magnitud como la interpretación del efecto estimado del tratamiento pueden depender en mayor medida de qué covariables se incluyen y cómo se modelan.
Por qué no se requiere saldo para un experimento válido
Si bien el equilibrio es ideal, no es necesario para que un experimento sea válido. La validez experimental consiste en romper la dependencia del tratamiento de cualquier covariable. Si eso se rompe, entonces el experimento es válido: la aleatorización correcta siempre rompe la relación sistemática entre el tratamiento y todas las covariables.
Volvamos nuevamente a nuestro ejemplo del conejo. Si permitiéramos que los conejos seleccionaran ellos mismos la dieta, podría haber factores que afecten tanto al aumento de peso como a la selección de la dieta. Quizás los conejos más jóvenes prefieran la dieta rica en grasas y es más probable que aumenten de peso a medida que crecen. O tal vez exista un marcador genético que hace que los conejos sean más propensos a aumentar de peso y a preferir comidas ricas en grasas. La autoselección podría causar todo tipo de problemas de confusión en la conclusión de nuestro análisis.
Si en cambio hiciéramos aleatorización, las relaciones sistemáticas entre la selección de la dieta (tratamiento) y la edad o la genética (factores de confusión) se rompen y nuestro proceso experimental sería válido. Como resultado, cualquier asociación restante entre el tratamiento y las covariables se debe al azar más que a la selección, y la inferencia causal del experimento es válida.
Mientras que la aleatorización rompe el vínculo entre factores de confusión y tratamientos y hace que el proceso experimental sea válido. No garantiza que nuestro experimento no llegue a una conclusión incorrecta.
Piense en las pruebas de hipótesis simples de su curso de introducción a la estadística. Extraemos aleatoriamente una muestra de una población para decidir si la media de una población es o no diferente de un valor determinado. Este proceso es válido, lo que significa que tiene tasas de error a largo plazo bien definidas, pero la mala suerte en una sola muestra aleatoria puede causar errores de tipo I o II. En otras palabras, el enfoque es sólido, aunque no garantiza siempre una conclusión correcta.
La aleatorización en la experimentación funciona de la misma manera. Es un enfoque válido para la inferencia causal, pero eso no significa que cada experimento aleatorio individual arrojará la conclusión correcta. Los desequilibrios de probabilidad y la variación del muestreo aún pueden afectar los resultados de cualquier experimento individual. La posibilidad de conclusiones erróneas no invalida el enfoque.
Envolviéndolo
La aleatorización tiende a equilibrar las covariables entre los grupos de tratamiento, pero no garantiza el equilibrio en ningún experimento individual. Lo que garantiza la aleatorización es la validez. La relación sistemática entre la asignación de tratamiento y las covariables se rompe por diseño. El equilibrio de covariables mejora la precisión, pero no es un requisito previo para una inferencia causal válida. Cuando se produce un desequilibrio, el ajuste de covariables puede mitigar sus consecuencias. La conclusión clave es que el equilibrio es deseable y útil, pero la aleatorización (no el equilibrio) es lo que hace que un experimento sea válido.