Cuando una diferencia realmente hace la diferencia

📍A los tomadores de decisiones comerciales: Como científico de datos que enseñó en la universidad y escribió dos libros de texto en el campo, me gustaría compartir mi conocimiento en artículos del tamaño de un bocado para ayudarlo a navegar por el mundo de los datos y la IA con confianza y claridad.

ℹ️ Este símbolo significa que puedes Haga clic para obtener más información

Dado que este es un artículo del tamaño de un bocado, me quedaré con la historia y cubriré los elementos esenciales en el texto principal. Pero si está ansioso por aprender más o profundizar, hay más explicaciones disponibles en ℹ️

🔗A mis compañeros especialistas de datos: Junto con cada artículo, compartiré el código completo, a menudo empaquetado como prácticas funciones auxiliares que puede integrar fácilmente en su propio flujo de trabajo.


: Es el CEO de una cadena minorista con dos grandes almacenes, A y B. Está revisando el informe trimestral, donde un gráfico de barras muestra que almacena A 8 de cada 100 en satisfacción del cliente, mientras que la tienda B tiene puntajes 75. ¿Debería replicar las prácticas de la tienda A e invertir en mejorar la tienda B?

¿Qué pasaría si le dijera que en un escenario, esta acción podría costarle a su empresa millones, mientras que en otro escenario, es exactamente el movimiento correcto?

La diferencia entre los dos escenarios no está en los números que ve, está en los números que no.

🎯 En los próximos 10 minutos, aprenderás:

  • Cómo las diferentes realidades comerciales pueden esconderse detrás de la misma tabla de bares
  • Tres pasos prácticos para descubrir la historia completa y evitar malas interpretaciones costosas

El problema con los resúmenes

Las decisiones comerciales a menudo se basan en resúmenes simples que se muestran en los gráficos de barra o línea:

  • calificaciones en todos los productos
  • Satisfacción del cliente en las tiendas
  • compromiso de los empleados en todos los equipos

Pero resúmenes como este esconde detalles críticos: los detalles que pueden hacer o romper su próximo movimiento estratégico.

Volvamos al ejemplo de la tienda. Cuando imaginas la tabla que comparó la tienda A y la tienda B, ¿qué ves? Probablemente algo como debajo: dos barras, una un poco más alta que la otra.

Aquí está el giro: Tres escenarios comerciales distintos, cada uno que requiere una decisión diferente, podrían producir exactamente el mismo gráfico de barras 🤯.

🔎 ¿Listo para ver qué no te dicen sus datos?

Lo que esconde la tabla de bares: el resto de la historia

Veamos tres realidades comerciales muy diferentes que pueden esconderse detrás de la misma tabla de bares.

Escenario 1: Muestra pequeña, pequeña varianza

En el escenario 1, ambas tiendas tienen tamaños de muestra relativamente pequeños (n = 50) y baja varianza (Desviación estándar = 5).

ℹ️ Diferencia y desviación estándar (ETS) Medir cómo se extienden los datos del promedio.
  • Diferencia es el promedio de las diferencias cuadradas de la media. Da una idea de la propagación general de los puntos de datos, pero su unidad está cuadrada, lo que la hace menos intuitiva.
  • Desviación estándar (ETS) es la raíz cuadrada de varianza. Debido a que está en la misma unidad que los datos (por ejemplo, puntos de satisfacción), es mucho más fácil de interpretar directamente. Por ejemplo, significa que aproximadamente dos tercios de los puntajes de satisfacción del cliente están dentro de aproximadamente 5 puntos por encima o por debajo del promedio.

Estos detalles son invisibles en el gráfico de barras. Pero cuando cambiamos a un gráfico alternativo: el trama de boxes-scatter—CES puede ver el puntaje de cada cliente como un punto, y también puede ver el resultado de la prueba estadística que se muestra en la esquina.

El gráfico de arriba nos dice:

  • Los puntajes de los clientes están estrechamente agrupados alrededor de la media de cada tienda.
  • La brecha de 5 puntos entre las tiendas es consistentemente visible.
  • Las pruebas estadísticas (ANOVA) confirman que la diferencia es real, no solo el azar.

💡Insight clave: En este escenario, tendría razón al replicar la práctica de la tienda A e invertir en la mejora de la tienda B.

ℹ️ Piense en ANOVA como árbitro: Verifica si la diferencia entre los grupos es lo suficientemente grande como es poco probable que sea ruido aleatorio.
  • ANOVA (análisis de varianza): Compara los promedios de dos o más grupos y pregunta, “¿Es esta brecha más grande de lo que generalmente crearía la oportunidad aleatoria?” En caso afirmativo, decimos que la diferencia es estadísticamente significativa
  • Otras pruebas comunes incluyen
    • Prueba t: Compara los medios de dos grupos.
    • La prueba t de Welch: Una variante de la prueba t que maneja grupos con variaciones desiguales.
    • Prueba de Kruskal-Wallis: Similar a ANOVA, pero para datos que normalmente no se distribuyen; Compara las clasificaciones de los grupos en lugar de sus promedios.
  • Lectura de valores P (Guía práctica para negocios):
    • El valor p le dice qué tan probable es que se deba la diferencia observada a una posibilidad aleatoria.
    • Los valores p más pequeños significan que es menos probable que sea aleatoria:
      • p <0.05 → razonablemente seguro que la diferencia es real
      • P <0.01 → Muy seguro La diferencia es real
      • p <0.001 → extremadamente seguro La diferencia es real
    • Si una prueba estadística es no significativo (es decir, p> 0.05). Él no significa que no haya diferencia entre los grupos. Solo significa que, dado el tamaño y la variabilidad de la muestra, No se puede decir con confianza que la diferencia es real—La brecha observada podría deberse al ruido aleatorio.
  • Consejo para los tomadores de decisiones comerciales: Elegir la prueba estadística correcta depende de su tipo de datos, tamaño de muestra y distribución. Siempre es aconsejable consultar a su especialista en datos para garantizar que la prueba, así como la interpretación de sus resultados, coincidan con su escenario.

📦Consejo para compañeros especialistas en datos: El gráfico anterior es fácil de hacer con el siguiente código. Además de personalizar la apariencia, también puede elegir entre diferentes pruebas estadísticas adecuadas para sus datos. Por favor, mira Mlarena Docs en Github para más detalles.

from mlarena.utils.plot_utils import plot_box_scatter

fig, ax = plot_box_scatter(scenario_a, 
                           x='store', 
                           y= 'satisfaction', 
                           show_stat_test=True, 
                           stat_test='anova',  
                           palette = colors)

Escenario 2: Muestra pequeña, gran varianza

En el escenario 2, ambas tiendas todavía tienen tamaños de muestra pequeños (n = 50) y las mismas puntuaciones medias (80 para la tienda A, 75 para la tienda B). Pero ahora, los puntajes de satisfacción del cliente tienen alta variación. Esto cambia la historia dramáticamente:

  • Si bien el gráfico de barras se verá exactamente igual para los dos escenarios, en el diagrama de scatter de caja anterior, puede decir que los puntos de datos están más dispersos para el escenario 2.
  • La diferencia entre dos tiendas ahora es difícil de distinguir del ruido aleatorio.
  • De acuerdo con esta intuición reflejada en la trama, el análisis estadístico muestra que la diferencia es no estadísticamente significativo.
  • Aunque los medios son idénticos al escenario 1, No se puede concluir con confianza que almacena una tienda verdaderamente superior a B.

💡Insight clave: La misma diferencia media puede contar historias completamente diferentes dependiendo de los datos. variabilidad.

¿Qué hacer con datos ruidosos?

¿Cómo se toma decisiones basadas en datos, cuando sus datos son ruidosos (es decir, tiene una alta varianza)? El escenario 3 proporciona la respuesta.

En el escenario 3, mantenemos la misma alta varianza que el escenario 2 pero aumentamos drásticamente el tamaño de la muestra. Esto demuestra el poder de los conjuntos de datos más grandes:

  • Los puntos de datos permanecen ampliamente dispersos (la misma varianza alta que el escenario 2)
  • Sin embargo, el tamaño de muestra más grande proporciona mucho más poder estadístico
  • Con más puntos de datos, ahora podemos distinguir la señal del ruido: el análisis estadístico muestra que la diferencia es estadísticamente significativa a pesar de la alta varianza
  • La muestra más grande nos da confianza en que almacena una tienda verdaderamente superior a

💡Insight clave: Cuando la varianza es alta, los tamaños de muestra más grandes pueden aumentar nuestra capacidad de detectar una diferencia real.

ℹ️ Poder estadístico es la capacidad de una prueba para Detectar una diferencia cuando realmente existe.
  • Baja potencia (muestras pequeñas y ruidosas): Incluso si existe una diferencia real, la prueba puede dejar de detectarla, como tratar de detectar una señal débil en una radio difusa
  • Tamaño de potencia y muestra: Una de las formas más prácticas de aumentar la potencia es recopilar más datos. Por ejemplo, en Escenario 3mantuvimos la misma alta varianza que el escenario 2 pero aumentamos el tamaño de la muestra diez veces. Que los datos adicionales nos dieron el poder estadístico para separar la señal del ruido y concluir con confianza que almacena una tienda superformada B.
  • ¿Qué tan grande es lo suficientemente grande? Gran pregunta. La respuesta depende de la variabilidad en sus datos y del tamaño de la diferencia que le importa. Estén atentos, en el próximo artículo del tamaño de un bocado, compartiré un Guía práctica para tomadores de decisiones comerciales sobre el tamaño y el tamaño de la muestra Entonces, ya sabes cuándo tienes “suficientes datos” para actuar con confianza.

📦Consejo para otros especialistas en datos: Introduciré funciones fáciles de usar sobre el análisis de potencia y sensibilidad en un artículo futuro del tamaño de un bocado.

Cuando un resultado significativo no es un gran problema

Comparación Escenario 1 y Escenario 3¿Diría que, dado que ambos muestran diferencias de 5 puntos que son estadísticamente significativas, los dos escenarios son esencialmente las mismas?

La respuesta es una gran No ⛔

  • Escenario 1:
    • La diferencia de 5 puntos representa 100% de la desviación estándar – Un efecto muy fuerte.
    • 👉 sugiere un gran diferencia operativa vale la pena replicación inmediata.
  • Escenario 3:
    • La misma diferencia de 5 puntos es solo 25% de la desviación estándar – Un pequeño efecto.
    • 👉 Indica solo un ventaja modesta Eso puede no justificar los cambios a gran escala.

💡 Insight clave: La significación estadística le dice si una diferencia es real. Tamaño de efecto Te dice si esa diferencia es lo suficientemente grande como para importar para los negocios.

ℹ️ Tamaño de efecto mide la magnitud de la diferencia, no solo si existe.
  • Pone la diferencia en el contexto de la variabilidad en sus datos (por ejemplo, una brecha de 5 puntos puede verse enorme si sus datos están estrechamente agrupados o pequeños si sus datos están muy extendidos).
  • Existen diferentes medidas (Cohen’s D, Pearson’s R, Odds Ratios, etc.), pero la idea central es la misma: ¿Qué tan grande es el impacto?
  • Para los negocios, el tamaño del efecto ayuda a decidir si vale la pena actuar un resultado, no solo si pasa una prueba estadística.
  • Explicaré effect size Más en un artículo futuro del tamaño de un bocado.

📦Consejo para otros especialistas en datos: Lo adivinaste, tengo funciones fáciles de usar en el tamaño del efecto para compartir con ustedes también en un artículo futuro.

💡Insight clave: No asuma todo estadísticamente significativo Los resultados merecen la misma respuesta: el tamaño del efecto es importante para la asignación de recursos.

Ponlo todo junto

Contradas clave y pasos procesables para los tomadores de decisiones comerciales:

🚫 Qué no hacer:

  • No tome decisiones basadas únicamente en diferencias medias
  • No asuma que los medios idénticos representan situaciones comerciales idénticas

✅ Qué hacer:

  1. Siempre solicite información de distribución junto con medios (por ejemplo, gráficos de caja, gráficos de dispersión o métricas de varianza, como la desviación estándar)
  2. Solicitar pruebas de significación estadística Antes de concluir que las diferencias observadas son procesables
  3. Solicitar un tamaño de efecto Para comprender si las diferencias estadísticamente significativas justifican el costo de la acción

🎁 Punto de bonificación: Cuando los resultados no son concluyentes debido a una alta varianza, considere recolectar muestras más grandes para aumentar el poder estadístico y aportar claridad.

🎯 En pocas palabras: La misma diferencia de medias de 5 puntos puede justificar la acción inmediata (Escenario 1), requerir más recopilación de datos (Escenario 2) o confirmar la acción con alta confianza pero un impacto modesto (escenario 3). Comprensión variabilidad de datos, significación estadísticay tamaño de efecto previene malas interpretaciones costosas de las métricas de su negocio.

🔮 ¿Qué sigue? Escribiré más artículos del tamaño de un bocado que ilustran conceptos clave en datos e IA para la toma de decisiones comerciales. Tamaño de efecto, pruebas estadísticas y poder estadístico que tocamos en este artículo están todos en la lista. Déjame saber qué más te gustaría ver a continuación 🤗


Escribo sobre datos, ML e IA para la resolución de problemas. También puedes encontrarme en 💼LinkedIn | 😺Github | 🕊️Gorjeo/


A menos que se indique lo contrario, todas las imágenes son del autor.