Los científicos de datos están en el negocio de la toma de decisiones. Nuestro trabajo se centra en cómo tomar decisiones informadas en condiciones de incertidumbre.
Y, sin embargo, cuando se trata de cuantificar esa incertidumbre, a menudo nos apoyamos en la idea de “significancia estadística”, una herramienta que, en el mejor de los casos, proporciona una comprensión superficial.
En este artículo, exploraremos por qué la “significancia estadística” es defectuosa: umbrales arbitrarios, una falsa sensación de certeza y la imposibilidad de abordar las compensaciones del mundo real.
Lo más importante es que aprenderemos cómo ir más allá de la mentalidad binaria de significativo versus no significativo y adoptar un marco de toma de decisiones basado en el impacto económico y la gestión de riesgos.
Imagine que acabamos de realizar una prueba A/B para evaluar una nueva función diseñada para aumentar el tiempo que los usuarios pasan en nuestro sitio web y, como resultado, su gasto.
El grupo de control estuvo formado por 5.000 usuarios y el grupo de tratamiento incluyó otros 5.000 usuarios. Esto nos da dos matrices, llamadas treatment y controlcada uno de ellos contiene 5.000 valores que representan el gasto de los usuarios individuales en sus respectivos grupos.