Todo lo que aprendiste sobre la inferencia causal en el mundo académico es cierto. Tampoco es suficiente, y la mayoría de los que hacemos inferencia causal aplicada lo experimentamos.
, lo diferente es la gravedad de las decisiones que se apoyan en el análisis: no todas las decisiones merecen el mismo nivel de evidencia. Haga coincidir su rigor y su inferencia causal con la gravedad de la decisión, o desperdiciará recursos.
Tomemos como ejemplo el descubrimiento de productos. Antes de construir y enviar, muchas suposiciones necesitan validación en varios pasos. Con el objetivo de concretar cada respuesta con una inferencia causal perfecta; ¿para qué? Subir una casilla en un tablero de muchas decisiones relevantes, incluso necesarias, pero por sí solas insuficientes. El riesgo ya está repartido y cubierto entre muchas decisiones, gracias a un proceso que valora la evidencia incremental, el aprendizaje y las iteraciones.
Al mismo tiempo, la inferencia causal conlleva un costo de oportunidad material: el rigor requiere retrasos en el tiempo de impacto, mientras que podría haber un proyecto esperándolo donde este rigor realmente era necesario para mejorar la calidad de la decisión (reducir el riesgo, aumentar la precisión y la confiabilidad).
Decisiones finales versus decisiones constructivas es mi marco de referencia para simplificar esta idea:
Las decisiones constructivas te hacen avanzar en un proceso. "¿Deberíamos explorar más esta función?", "¿Vale la pena investigar este problema de usuario?" Hacerlo mal le cuesta un sprint, tal vez dos, mientras que hacerlo bien no cambia la empresa todavía. Las decisiones finales comprometen recursos o cambian de dirección, y equivocarse es costoso o difícil de revertir: “¿Deberíamos invertir 2 millones de dólares para desarrollar esto?” “¿Deberíamos eliminar esta línea de productos?”, “¿Deberíamos asignar más presupuesto de marketing a este o aquel canal?”
En tecnología, el volumen y el ritmo de las decisiones no tienen paralelo. A veces, estas son decisiones finales. Pero mucho más frecuentes son las decisiones constructivas.
Como científicos de datos, estamos involucrados en ambos tipos, y no reconocer cuándo estamos tratando con uno u otro lleva a plantear preguntas equivocadas o buscar respuestas equivocadas, desperdiciando recursos, en última instancia.
En este artículo quiero resaltar tres reglas a las que vuelvo una y otra vez cuando me embarco en proyectos de inferencia causal:
Comience con el problema, no con la respuesta. Si puede resolverlo más fácilmente sin inferencia causal, hágalo. Haga también 80/20 en su proyecto de inferencia causal.
Las reglas rara vez suenan divertidas. Pero, en realidad, esto me ayudó a aumentar mucho mi impacto.
Analicemos eso.
1. Empiece por el problema, no por la respuesta
Todo proyecto de inferencia causal comienza con el problema que intentas resolver; no con la estrategia de identificación y el estimador. Es el ejemplo perfecto de hacer lo correcto, en lugar de hacer las cosas bien. Tus métodos pueden ser acertados, pero ¿cuál es el valor si estás resolviendo lo incorrecto? Anímese a iniciar un proyecto con un problema comercial muy claro que lo respalde y obtendrá el 50% del trabajo terminado incluso antes de comenzar.
Si es muy técnico, es probable que conozca la anatomía de un proyecto de inferencia causal: desde DAG hasta el modelo, la inferencia, el análisis de sensibilidad y las respuestas.
¿Pero conoces la anatomía de la resolución de problemas en las organizaciones?
El problema detrás del problema
Los grandes problemas se dividen en otros más pequeños. Eso es más viable para un equipo que necesita encontrar soluciones. Y nos permite movilizar múltiples equipos para resolver diferentes partes del (sub)problema más grande. Lo mismo ocurre con los roles dentro de un equipo: estás estimando los factores de abandono; su PM necesita eso para decidir si invertir en retención o adquisición.
Ese es el desafío: el problema que usted, el científico de datos, está resolviendo a menudo no es el final.
Tu problema está anidado dentro del de otra persona. Otras personas, a tu alrededor y por encima de ti, necesitan tu respuesta como aporte para su solución. Reconozca esa dependencia y podrá adaptar su inferencia causal a lo que realmente importa en sentido ascendente. Las victorias son concretas: una alineación más estrecha de la estimación causal de interés, o un descarte más rápido de la inferencia causal por completo. En pocas palabras: tiempo más corto para obtener conocimiento.
Una vez me interesó la teoría de redes (Markov Random Fields fue lo que me hizo comprender los DAG en 2018). Todo era una red en mi cabeza. Entonces fui a crear una red de nuestro uso de capacidad de BI interna. Todos los paneles eran nodos y tenían bordes más gruesos entre ellos cuando los usaban los mismos usuarios. Calculé todo tipo de métricas de centralidad; Identifiqué paneles de control influyentes: paneles que unían a los departamentos; y mucho más. Hice una historia completa en torno a ello, pero las acciones nunca siguieron. El problema era que nunca había prestado atención al problema que mis partes interesadas intentaban resolver. Quizás pensé que la decisión era de tipo final, aunque fue constructiva desde el principio. Un simple recuento del uso del panel podría haber funcionado, pero lo traté como un proyecto de investigación.
Ese era yo entonces. Y no fue la última vez que sucedió algo así. Pero la lección aprendida es empezar con el problema, no con las respuestas.
La antirreglamentación: analizar los problemas equivocados
Si desea una forma rápida de tirar dinero, entonces resuelva los problemas equivocados. No sólo las soluciones no tendrán resultados materiales, sino que también se acumulará el costo de oportunidad de no resolver el problema correcto en ese tiempo.
Por lo tanto, al estar ansioso por encontrar el problema detrás del problema, sea crítico acerca de si es el correcto empezar, cuando lo encuentre.
En ese sentido, comenzar con las respuestas ofrece la cura. Pero es un poco diferente. Pregúntate:
Si obtenemos estas respuestas, ¿qué sabemos que no sabíamos antes? Si sabemos eso, ¿y qué?
Si la respuesta a la pregunta "y qué" tiene mucho sentido, no sólo para usted, sino también para su gerente y su gerente (presumiblemente), entonces está en el problema correcto.
Mágico.
2. Si puedes resolverlo más fácilmente sin inferencia causal, hazlo.
No existe una inferencia causal sencilla. Los métodos se vuelven canónicos porque hemos mapeado bien sus suposiciones; no porque usarlos sea mecánico. Cada situación puede violar esos supuestos a su manera, y cada una merece todo el rigor.
Sin embargo, el desafío con esto es que no podemos justificar hacerlo para todos ellos, en términos de recursos.
Es entonces cuando aplicar la inferencia causal se convierte en un ejercicio económico: ¿cuántos recursos debemos invertir para alcanzar el resultado deseado con el nivel necesario de confianza?
Hazte esa pregunta la próxima vez.
Afortunadamente, no es necesario que cada análisis sea tan riguroso como un proyecto completo de inferencia causal para que el retorno de la inversión se incline hacia el lado positivo.
Las alternativas: sentido común, conocimiento del dominio y análisis asociativo también obtienen respuestas suficientemente buenas.
Definitivamente duele un poco decir esto; Yo, riguroso y de principios, me odia ahora. Pero he aprendido que vale la pena abordar el equilibrio como una opción estratégica.
Aquí tienes un ejemplo para llevártelo a casa:
La pregunta es: ¿deberíamos invertir más en la característica A? Ahora, puedo cambiar esto fácilmente a: ¿cuál es el impacto de la característica A en la adquisición/retención de usuarios? (un ángulo muy común a adoptar en una situación de SaaS; y una pregunta causal en esencia)
Si es alto, entonces invertimos en él; en caso contrario, no.
Esa palabra impacto por sí sola me coloca directamente en un modo de inferencia causal, porque impacto ≠ asociación. Pero sabemos que eso es costoso. ¿Vale la pena el problema? ¿Cuál es la alternativa?
Un enfoque es comprender cuántos usuarios utilizan esta función. ¿Con qué frecuencia lo usan, dado que decidieron usarlo? Eso indica cuán valiosa podría ser una característica y señala que podemos invertir más en ella. No hay diferencia en diferencia, ni IPSW, ni prueba A/B: pero si estas respuestas resultan negativas, ¿aún importaría una inferencia causal precisa?
La verdad puede estar en el medio; Las respuestas a esas preguntas pueden ser más indicativas que decisivas, y la pregunta principal aún puede parecer abierta. Pero seguramente, menos abierto que cuando empezó: si esas respuestas desencadenan una investigación más profunda, entonces el equipo de producto está en movimiento, y probablemente en la dirección correcta. Quizás siga una inferencia causal más rigurosa.
La antirregla: saltarse la inferencia causal es peligroso
Digamos que el equipo de producto capta las señales de su análisis y realiza algunas "mejoras" materiales en la función. El tamaño de la muestra es bajo y tienen poco tiempo, por lo que se saltan la prueba A/B y la inician directamente.
Los experimentadores fanáticos pierden el control en este punto. Creo que podría ser la decisión correcta, si alguien hiciera los cálculos y concluyera que hay más en juego en experimentar que en no hacerlo. Por supuesto, mantuve el caso de manera tan genérica que nadie pueda defender a ninguna de las partes. Eso iría más allá del punto.
Pero luego, mientras el equipo pasa al siguiente sprint, la gerencia del producto aún enfatiza lo importante que es aprender algo de lo que lanzaron anteriormente. Todavía quieren a) tener una idea del impacto yb) si algunos segmentos se vieron afectados más o menos que otros.
Estás contento porque aprendizajes -> iteraciones es exactamente la mentalidad que estás tratando de fomentar. Pero también siente dolor por al menos tres razones:
Falta de intercambiabilidad: sabes que los usuarios que utilizaron la función son un conjunto altamente autoseleccionado. Contrastandolos con los no usuarios. ¿En realidad? Efectos interactivos: supongamos que un segmento se vio más afectado que otros. Ahora recuerde el primer punto: estamos condicionando a usuarios muy comprometidos. Puede ser que ese segmento haya mostrado un mayor impacto simplemente porque los usuarios también estaban muy comprometidos. Es posible que los mismos segmentos no muestren ese impacto diferencial cuando consideramos a los usuarios con menor participación. Pero no puedes saberlo. Sus datos de trabajo están sesgados únicamente hacia usuarios muy comprometidos. Sesgo del colisionador: en el peor de los casos, condicionar un alto compromiso puede invertir la relación entre los segmentos y el resultado de interés. El análisis llevaría al equipo en la dirección equivocada.
3. Haz también 80/20 en tu proyecto de inferencia causal
El título es un falso amigo. No estoy diciendo que hagas tu análisis a medias: cuando la pregunta requiera todo el rigor, dáselo. El 80/20 se trata de dónde se dirige su esfuerzo a lo largo de una decisión, no de qué tan profundo profundiza en la pieza causal.
Recuerde la idea de los problemas anidados. Su proyecto de inferencia causal a menudo se encuentra dentro de una decisión comercial más amplia y rara vez es la única dimensión que importa. La parte interesada tiene que sopesar el costo, el momento oportuno, el ajuste estratégico y la reversibilidad; junto con su estimación. La inferencia causal no es todo lo que necesitamos saber.
Si su respuesta causal tiene el 30% del peso en esa decisión, tratarla como si fuera el 100% es un desperdicio. Peor aún: es un desperdicio con un costo de oportunidad, porque el otro 70% queda sin respuesta.
Aquí es donde el encuadre final versus constructivo se mantiene. Para tomar decisiones constructivas, distribuir el esfuerzo entre dimensiones casi siempre es mejor que profundizar en una sola. Para las decisiones finales, la dimensión causal suele ser el núcleo y las matemáticas inclinan la balanza en sentido contrario.
Las reglas 1, 2 y 3 se superponen pero no son iguales. La regla 1 preguntaba si estás abordando el problema correcto. La regla 2 preguntaba si se necesita alguna inferencia causal. La regla 3 supone que has superado ambas. Ahora la pregunta es: dentro del proyecto, ¿estás respondiendo las preguntas correctas, en plural, y dejando que la inferencia causal lleve solo el peso que realmente tiene?
Envíe la decisión, no la estimación
Un proyecto reciente: estimar el efecto de un nuevo nivel de precios en los ingresos por usuario. Instintivamente, busqué la estrategia de identificación más limpia que pude implementar. Diferencias en diferencias con sensibilidad de tendencias paralelas, pruebas de placebo, tal vez un control de sintetizador por si acaso. Un mes de trabajo, fácilmente.
Pero cuando me alejé, el primer ministro tenía tres preguntas abiertas, no una:
¿Cuál es el efecto sobre los ingresos por usuario? (causal) ¿Estamos canibalizando el nivel existente? (causal, resultado diferente) ¿Qué tan reversible es esto si fracasa? (no causal; una pregunta sobre operaciones y productos)
Dedicar un mes a la pregunta 1 habría dejado a la 2 y a la 3 a medio responder. La decisión necesitaba que los tres fueran aproximadamente correctos, no que uno de ellos fuera exactamente correcto. Entonces: una diferencia más estricta en la pregunta 1 en dos semanas, con advertencias explícitas, y el tiempo restante en la 2 y la 3. La parte interesada llegó a la reunión de decisión con una imagen equilibrada en lugar de un número y dos encogimientos de hombros.
La antirregla: cuando la cuestión causal es la decisión
Si realiza un proyecto de inferencia causal 80/20 en el que la estimación causal es toda la decisión, habrá vaciado el análisis.
Este es el escenario de la decisión final. "¿Deberíamos invertir 2 millones de dólares en este canal?" "¿Este tratamiento provoca una reducción significativa de la deserción?" Cuando las otras dimensiones ya están definidas o son genuinamente secundarias, la estimación causal no es uno de muchos insumos; es la entrada. Tomar atajos allí para liberar tiempo para el trabajo que no cambia la decisión invierte la regla original: ahora estás asignando mal en sentido contrario.
La habilidad es saber en qué situación se encuentra. Una prueba rápida: si no puede enumerar tres dimensiones que su parte interesada necesita además de su estimación, su respuesta causal probablemente sea la decisión. No hagas 80/20 ese.
Entonces, ¿y ahora qué?
Estas reglas se aplican a todo el trabajo analítico, no sólo a la inferencia causal. Pero la inferencia causal es lo que más me ha resultado difícil en mis roles anteriores.
Cada vez que siento la atracción de un control de sintetizador limpio por una pregunta que nadie hizo, estos son los recordatorios que pego en mi frente:
Los métodos surgen de estudiarlos. Eso es algo que no voy a parar. Pero ahí fuera, en el campo de batalla, seamos claros en cuándo aplicarlos hace bien y cuándo no.
Si una de estas reglas te ahorra un sprint la próxima vez, o una discusión con un PM, eso ya es una victoria; y estas victorias se acumulan. El rigor aparece cuando importa. El resto de tu tiempo lo dedicas a cosas que también importan.
Me encantaría tener una dosis de sano debate contigo sobre todo lo anterior. ¡Conéctese conmigo en LinkedIn o siga mi sitio web personal para ver contenido como este!