Un estudio de caso: experimento longitudinal en un proveedor de repuestos para bicicletas

Considere un escenario hipotético con AvidBikers, un proveedor líder de piezas de bicicleta premium para que los ciclistas de montaña personalicen y mejoren sus bicicletas. Recientemente lanzaron un programa de personalización para enviar las mejores ofertas y promociones semanales a su base de clientes ciclistas leales.

A diferencia de los viajes únicos al supermercado, los viajes típicos de los compradores en AvidBikers consisten en una serie de viajes de compras en línea para obtener todas las piezas necesarias para fabricar bicicletas y mejorar los equipos de ciclismo.

A medida que se implementa el programa de personalización, al equipo de ciencia de datos de marketing de AvidBikers le gustaría comprender tanto la efectividad de la campaña individual como la incrementalidad general a nivel del programa a partir de estrategias de marketing personalizadas combinadas.

Experimento de programa versus campaña

AvidBikers implementa un marco de experimentación longitudinal de doble capa para realizar un seguimiento de los impactos generales de todo el programa de personalización, así como de las campañas individuales. Aquí, los efectos a nivel de programa se refieren a los impactos de ejecutar el programa de personalización, que en ocasiones consta de hasta miles de campañas individuales, mientras que los impactos a nivel de campaña se refieren al envío de mejores ofertas semanales personalizadas frente a promociones a los clientes más relevantes.

Para implementar el marco, se crean grupos de prueba y control tanto a nivel global como a nivel de campaña. El grupo de prueba global es la base de clientes que recibe ofertas y promociones personalizadas cuando son elegibles, mientras que el control global se establece como grupo «resistente». Dentro del grupo de prueba global, creamos grupos de prueba y control a nivel de campaña para medir los impactos de las diferentes estrategias de personalización.

Abordar la entrada y salida dinámica del cliente

Sin embargo, surgen desafíos tanto de los clientes nuevos como de los que se van, ya que podrían alterar el equilibrio del grupo prueba-control. Por un lado, la deserción de clientes probablemente tenga un impacto desigual en los grupos de prueba y control, creando diferencias incontroladas que no podrían atribuirse al tratamiento/intervenciones de personalización.

Para abordar este sesgo, los nuevos clientes se asignan a grupos de prueba y control a nivel de programa y campaña, seguido de una prueba estadística para validar que los grupos estén equilibrados. Además control de calidad longitudinal se ejecutará para garantizar que la asignación de audiencia sea constante semana tras semana.

Medir, iterar y repetir

La medición es a menudo (erróneamente) usado indistintamente con experimentación. La diferencia, en términos simples, es que los experimentos son marcos para probar hipótesis e identificar relaciones causales, mientras que la medición es la recopilación y cuantificación de puntos de datos observados.

La medición es clave para capturar aprendizajes e impactos financieros de los esfuerzos de la empresa. De manera similar a la experimentación, AvidBikers preparó archivos de medición a nivel de programas y campañas para ejecutar pruebas estadísticas para comprender el rendimiento y los impactos a nivel de programas y campañas. Los resultados de las mediciones a nivel de programa indican el éxito general del programa de personalización de AvidBikers. Por otro lado, la medición a nivel de campaña nos dice qué táctica de personalización específica (oferta personalizada o promoción) es la estrategia ganadora para qué subconjunto de la base de clientes.

Con los resultados de las mediciones, los científicos de datos de AvidBiker podrían trabajar en estrecha colaboración con sus equipos de marketing y precios para encontrar las mejores tácticas de personalización a través de numerosos ciclos rápidos de «prueba y aprendizaje».