Introducción: ¿Falsas promesas?
Como consultor y gerente en la esfera de los datos, he asistido a una buena cantidad de presentaciones de diapositivas. Por ambos lados. Y cualquier plataforma de diapositivas que se precie promete algo, a menudo sobre eficiencia o productividad. Probablemente hayas escuchado algo como esto:
¡Esta herramienta hará que sus científicos de datos sean un 40% más productivos! Dedicarás un 30% menos de tiempo a corregir errores al hacer esto. ¡Básicamente, podrías implementar una jornada laboral de 6 horas y aun así salir victorioso! Con nuestra solución, podría codificar dos proyectos en el tiempo que antes le llevaba hacer solo uno. ¡Esto reduce a la mitad el tiempo de producción!
A veces las promesas no funcionan simplemente porque el producto propuesto es malo. Pero, ¿por qué esto nunca parece funcionar, ni siquiera con buenos productos? Podría terminar cambiando a un producto que realmente le encanta, pero aún así no ve la mejora prometida. ¿Por qué? ¿Los números que te presentaron son mentiras?
Mi experiencia como doctor en matemáticas probablemente me haya marcado de por vida en más de un sentido. Una de las cicatrices más profundas es mi necesidad de comprender con precisión qué representan los números. Y los números que encuentras en las afirmaciones anteriores indican una cosa, pero cuentan una historia completamente diferente si te detienes a pensar.
Si bien es cierto que mentir ocurre, lo que es una práctica mucho más común es engañar. Este tipo de marketing supone que no piensas críticamente cuando se te presentan números. Pensemos juntos críticamente y veamos qué se nos ocurre.
Mentiras, mentiras y marketing
Entonces, ¿cuál es el problema con las declaraciones de productividad?
El problema principal es que afirman optimizar un determinado aspecto del proceso, mientras prometen (indirectamente) ganancias de productividad global.
Veamos un ejemplo sencillo para entender lo que esto significa.
Supongamos que es un jugador importante en IA y recientemente lanzó un producto que es excelente para ayudar a los científicos de datos con la selección de parámetros del modelo. ¡Fresco! Las encuestas iniciales muestran que ha dado a los científicos de datos un aumento del 20% en la productividad para la selección de parámetros del modelo. Inicialmente presenta esto como:
Nuestra herramienta ha mejorado la productividad de la selección de parámetros del modelo para científicos de datos en un 20%.
Contento con este impresionante resultado, envía su estado de cuenta a marketing y le devuelven sólo con pequeños ajustes:
Nuestra herramienta ha mejorado la selección de parámetros del modelo, lo que hace que los científicos de datos sean un 20 % más productivos.
Te encoges de hombros y te preguntas por un segundo para qué se les paga realmente a estas personas en marketing cuando solo barajan unas pocas palabras. En realidad, ahora han cambiado su declaración de algo moderadamente impresionante a algo increíblemente impresionante.
¿Por qué? El ajuste del marketing hace que parezca que el producto hace que los científicos de datos sean un 20% más productivos en general. Pero su encuesta solo habló realmente de productividad durante el tiempo que los científicos de datos seleccionan los parámetros del modelo. ¿Cuál es la verdadera diferencia?
Un científico de datos hace muchas cosas, incluida la creación de prototipos, la gestión de partes interesadas, reuniones de coordinación, etc. Si bien el aprendizaje automático suele estar en el centro de cómo se describirían a sí mismos, muchos científicos de datos solo dedican alrededor del 40% de su tiempo a tareas típicas de ciencia de datos. Una gran parte de este 40% se dedica a depurar problemas de calidad de datos, gestión de canales y validación de datos. La selección de parámetros del modelo puede ocupar solo el 10% del 40% de su tiempo dedicado a tareas de ciencia de datos. Multiplicar nos muestra que esto es sólo el 4% de su tiempo total.
Si el científico de datos adoptara una herramienta para hacer que la selección de parámetros del modelo fuera un 20% más productiva, eso solo supondría una diferencia de apenas el 1% de su tiempo total. No notarás esto durante una semana laboral. De hecho, con la complejidad añadida de aprender una nueva herramienta al principio, es posible que incluso veas una disminución en la productividad al principio.
¿La mejor parte? Mire atentamente la declaración:
Nuestra herramienta ha mejorado la selección de parámetros del modelo, lo que hace que los científicos de datos sean un 20 % más productivos.
Ciertamente parece argumentarse que los científicos de datos serían un 20% más productivos en general, pero esta es sólo una interpretación. Si se le presiona, marketing establecería la conexión entre el principio y el final de la frase y diría que está implícito que el aumento de productividad es sólo para la selección de parámetros del modelo.
De modo que efectivamente puedes decir una cosa, mientras recurres a otra si se descubre la declaración engañosa. ¡La paga por el marketing proviene de barajar las palabras correctas!
¿Una mejor manera? Centrarse en la carga cognitiva en lugar de la productividad
¿Qué te dice realmente la historia que acabo de contar? Si tiene muchas tareas diferentes que son complejas (como las que hace un científico de datos), entonces apuntar a ganancias de productividad realmente no es presionar tanto la aguja.
No me malinterpretes. Si tienes una oportunidad fácil de ser un 20% más productivo con una de tus tareas, ¡adelante! Pero no espere que esto resulte en una diferencia de más de uno o dos por ciento en la productividad total.
¿Qué podemos hacer en cambio cuando tenemos muchas tareas diferentes que son complejas? Podemos utilizar la carga cognitiva como métrica e intentar reducirla.
Digamos que una empresa competidora desarrolló su propia herramienta para la selección de parámetros del modelo. En lugar de intentar acelerar el proceso, su herramienta tenía el único propósito de reducir la carga cognitiva del científico de datos. Por lo tanto, el proceso de selección del modelo tomaría la misma cantidad de tiempo, pero el científico de datos se sentiría lleno de energía y listo para otro desafío después de seleccionar los parámetros del modelo.
La mayoría de las personas, incluido yo mismo, no podemos trabajar 8 horas al día y estar en la cima de nuestro juego en todo momento. Algunos días siento que tengo 6 horas efectivas en mí. Otros días son más bien 2 horas efectivas. Si un proceso no requiere tanta carga cognitiva, entonces puedo trabajar más tiempo de manera efectiva. Esto a menudo resulta en la misma productividad total de un pequeño porcentaje, pero con el beneficio adicional de una mejor moral.
Entonces, la próxima vez que alguien presente un “aumento del 40% en la productividad”, pregúntale lo siguiente:
¿A qué proporción del tiempo total de trabajo afecta este aumento de productividad? ¿Cuánta carga cognitiva elimina o introduce esto?