“La mejora es 5x” [FULL STOP]está diseñado para hacerte pensar: “Eso es impresionante; debe valer mi tiempo y mi dinero”.
Sin embargo, una declaración independiente como esa es una señal de alerta, y saber cómo interrogar métricas vagas es una habilidad fundamental para cualquiera que quiera separar el valor real del marketing inteligente.
Es por eso que lo invito a ponerse sus gafas de analista de datos y descubrir el contexto necesario para obtener información sobre la cual pueda actuar.
La popularización de la analítica siguió un camino similar a la psicología, pasando de la orientación especializada a los libros de autoayuda y, finalmente, a las publicaciones de blogs, los vídeos de YouTube y las citas inspiradoras de Instagram estampadas en camisetas. La idea era expresar nuestro dolor en palabras que pudiéramos usar con orgullo en la mejor prenda que existe (la sudadera con capucha) y finalmente explicar al mundo lo que hace un analista (¡yo!), pensando que eso también explica el campo de la analítica.
Por supuesto, para las personas que me pillaron en un día de lavandería, tenía lista una explicación sencilla de la analítica y les compartí que la analítica es “Lo que ves rara vez es lo que obtienes”, mientras que las estadísticas, por otro lado, son “La verdad está ahí afuera” (como se indica en Expediente X).
Luego agregué que siempre estoy entusiasmado con la búsqueda de la “verdad”, haciendo referencia a mis seis años de experiencia en Ivory Tower, pero que ahora prefiero nadar en aguas analíticas.
Por eso mantengo la afirmación:
Los paneles llamativos respaldados con narraciones de datos a menudo tienen como objetivo ofuscar el ojo inexperto presentando información detallada.
Mientras tanto, el ojo entrenado sabe que hay algo más escondido detrás de las métricas cada vez que aparece una declaración como esta:
“La mejora es 5x”
Seguido del punto/punto/punto/punto o como prefieras llamarlo. No sé ustedes, pero me duele cuando miro esa frase y sé que alguien se atrevió a llamarla una métrica de éxito.
Por el bien del sentido común que espero que todavía exista en el limbo actual de la IA, reescribamos la declaración anterior de la forma en que se debe presentar una métrica agregando…
#1: Las dimensiones
Sé que algunos de mis amigos que todavía son seguidores de Simon Sinek dirían: “Empieza con el por qué”. 🙂
No. Comencé con “qué” y pregunté: “¿La mejora de qué?”
Me atreví porque lo primero que me pasó por la cabeza al ver la palabra “mejora” colgada así fue:
print(“La mejora es 5x.”)
Y esa no es una forma de obtener información sobre la que nadie pueda actuar, ¿verdad?
Pero imagine por un segundo que la afirmación se formulara como “La mejora de la precisión del modelo es 5 veces mayor”.
Si ese hubiera sido el caso, habría imaginado algo diferente y habría imaginado una pequeña tabla con dimensiones de rendimiento específicas, como la precisión del modelo y sus medidas exactas registradas.
Sin embargo, para estar seguros de que el “5x” no fue sacado de la nada, la segunda dimensión que falta en esta tabla imaginaria mía es la fecha/fechahora. Lo que haría que nuestra declaración sonara así:
“La mejora mensual de la precisión del modelo es 5 veces mayor”.
Ahora, eso es mejor, o al menos así se siente, porque podemos afirmar que obtuvimos la mejora al comparar los registros de precisión del modelo en ejecuciones mensuales.
Pero, para entender este “5x”, o cualquier mejora, otro dato importante que falta es…
# 2: la línea de base
Es por eso que continuaré con mis preguntas de “qué” preguntando: “¿La mejora de qué?”
Una “mejora 5 veces mayor” realmente suena increíble hasta que nos damos cuenta de que la precisión del modelo de referencia para predecir el resultado correcto exacto entre cien posibilidades era del 1% el mes pasado y ahora es del 5%.
Si viéramos el valor bruto del 5%, sabríamos que significa que las predicciones del modelo siguen siendo incorrectas el 95% de las veces y no lo consideraríamos un tipo de mejora que debería impulsar nuestras acciones. Es por eso que a menudo no nos presentan los números en bruto, sino simplemente un “5x”, porque se ve muy bien en un tablero.
Teniendo esta información, podemos reescribir nuestra declaración nuevamente:
“La mejora mensual de la precisión del modelo se multiplica por 5, pasando de una base de referencia del 1 % al 5 %”.
Eso se ve mejor otra vez. Aún así, ver un período de tiempo específico adjunto me lleva a la siguiente pieza que falta…
#3: El período de comparación
Lo que me lleva a mi última pregunta “qué”: “La mejora en comparación a que periodo?”
Nuestra declaración todavía no nos dice qué tipo de comparación está haciendo: ¿una evolución en el tiempo, una comparación de cadencia fija (mes a mes, trimestre a trimestre, año a año) o una comparación de período arbitrario?
Para reformular: ¿Es una comparación directa con el mes anterior o entre varios meses consecutivos? ¿Quizás una comparación año tras año, en la que se comparó este mes con el mismo mes del año pasado? ¿O es simplemente una comparación arbitraria entre dos meses cuidadosamente seleccionados?
Suponiendo que tengamos una respuesta, podemos modificar la versión anterior una vez más:
“Al comparar los resultados de mayo de 2026 con los de abril de 2026, la mejora mensual de la precisión del modelo se multiplica por cinco, pasando de una base de referencia del 1 % al 5 %”.
Mucho mejor. La frase finalmente nos dice qué mejoró, desde qué punto de partida y durante qué período. Y ahora, para deleite de algunos de mis amigos, les preguntaré…
Las preguntas del “por qué”
Para resumir, las dos preguntas de “por qué” que haría cuando me sirvieran una afirmación como “La mejora es 5 veces mayor” son:
#1: ¿Por qué debería preocuparme esta métrica?
Las métricas que impulsan las decisiones del presentador no siempre son las mismas que las tuyas, y lo mismo ocurre con el nivel de detalle. Lo que es suficiente para que ellos decidan a menudo no es suficiente para que usted actúe. Entonces, la próxima vez que alguien presente una declaración similar a la anterior, pregúntele para quién es y qué acciones se supone que debe impulsar.
#2: ¿Por qué se omitieron las preguntas de “qué”?
Sí, comenzar con el “por qué” es relevante, especialmente cuando se intenta comprender un problema para un caso de uso específico. Pero cuando se trata de comprender la métrica que tienes frente a ti, alguien que se presentó con su propio “por qué” en mente, debes interrogarlo con preguntas de “qué” para no dejarte engañar por paneles llamativos y narraciones de datos.
Dato curioso para terminar: los camaleones pueden mover cada ojo de forma independiente, uno rastrea una amenaza y el otro escanea el horizonte, lo que les proporciona aproximadamente 180° de visión horizontal y 90° de visión vertical.
Algo así como las personas con un ojo analítico entrenado, que son excelentes para detectar lo que hay frente a ellos: un ojo en la métrica que se muestra y el otro en todo lo que hay a su alrededor y que no se ha mostrado.
Gracias por leer.
Esta publicación se publicó originalmente en Medium. Si lo encontró valioso, no dude en compartirlo con su red y conectarse para ver más historias en Medium ✍️ y LinkedIn 🖇️.