Actualmente lideré un pequeño equipo de datos en una pequeña empresa de tecnología. Con todo lo pequeño, tenemos mucha autonomía sobre qué, cuándo y cómo ejecutamos experimentos. En esta serie, estoy abriendo la bóveda de nuestros años de experimentación, cada historia destaca un concepto clave relacionado con la experimentación.
Y aquí compartiremos un resultado sorprendente de una prueba temprana en nuestro programa de referencia-Bonus y la usaremos para discutir cómo podría reducir su conjunto de decisiones para los experimentos (al menos cuando involucran a los humanos).
Antecedentes: es Covid y necesitamos contratar a un millón de enfermeras
Mayor cuidado Ayuda a las instalaciones de salud a coincidir con el talento de enfermería. Somos una máquina glorificada de recreación de enfermeras y, por lo tanto, siempre estamos buscando reclutar de manera más efectiva. Las enfermeras vienen a nosotros de muchas fuentes, pero aquellos que vienen a través de referencias obtienen críticas más altas y se quedan con nosotros por más tiempo.
El año fue 2020. Intrepare era una compañía de bebés (aún lo es la mayoría de los estándares). Nuestra aplicación era nueva y la mayoría de las características seguían siendo primitivas. Algunos ejemplos …
- Tuvimos una manera de que IntelyPros compartiera un enlace de referencia con amigos, pero no teníamos incentivos financieros para hacerlo.
- Nuestro proceso de solicitud fue un gran trabajo. Requerimos una pequeña montaña de documentos para su revisión, además de una entrevista telefónica y referencias. Solo un pequeño subconjunto de solicitantes lo hizo hasta el trabajo.
Durante una lluvia de ideas de reclutamiento, nos aferramos a la idea de las referencias y acordamos que agregar incentivos financieros sería fácil de probar. Algo así como “Obtenga $ 100 cuando su amigo comience a trabajar”. Cero creatividad allí, pero una idea no tiene que ser novedosa para ser buena.
Sabiendo que muchas personas podrían referirse una y otra vez si se ganaban una bonificación, y saber que nuestro proceso de solicitud era nada menos que un guante, también nos preguntamos si podría ser mejor dar a los médicos un pequeño premio cuando sus amigos comenzar una aplicación.
¿Un pequeño premio por algo fácil frente a un gran premio por algo difícil? Quiero decir, depende de muchas cosas. Solo hay una forma de saber cuál es la mejor, y eso es probarlos.
La prueba de referencia
Asignamos al azar a los médicos a una de las dos experiencias:
- El clínico gana $ 1/hora adicionales en su próximo turno cuando su referencia inicia una solicitud de empleo. (Súper fácil. Comenzar una aplicación lleva 1–2 minutos).
- El clínico gana $ 100 cuando su referencia completa su primer turno. (Súper duro. Algunas enfermeras corren a través de él, pero la mayoría de los solicitantes toman varias semanas o incluso meses si terminan).
Resistimos a un tercio igual de los médicos como control y les dejamos conocer las reglas a través de una serie de correos electrónicos. Siempre existe un riesgo de derrames en una prueba como esta, pero la idea de que un grupo robe todas las referencias del otro grupo parecía un tramo, por lo que nos sentimos bien al aleatorizar entre las personas.
Decididamente no social: Muchas personas escuchan estas dos opciones y preguntan: “¿Pensaste en probar incentivos prosociales?” (Ejemplo: te remito, haces algo, nosotros ambos Obtenga un premio). Los estudios muestran que a menudo son mejores que los incentivos individuales y son bastante comunes (instacart, airbnb, robinidad…). Consideramos estos, pero nuestro equipo de finanzas se puso muy triste ante la idea de que enviáramos $ 1 a cientos de personas que nunca se han convertido en empleados.
¿Supongo que QuickBooks no les gusta eso? En algún momento, simplemente aceptas que es mejor no meterse con el equipo de finanzas.
Dado que la recompensa de $ 1/hora no podría ser prosocial sin convertirse en un gran dolor de cabeza, limitamos los pagos en ambos programas al individuo de referencia solamente. Esto nos da dos programas de referencia donde las diferencias clave son el momento y el monto de pago.
Resulta que el momento y la presentación de incentivos son importantes. Mucho. Los incentivos sociales también importan. Mucho. Si está tratando de hacer crecer su programa de referencia, sería inteligente considerar ambas dimensiones antes de aumentar el pago.
Dejando de lado: pensar en cosas para probar
La ciencia de los datos del producto, con una mínima excepción, está interesada en cómo los humanos interactúan con las cosas. A menudo es un sitio web o una aplicación, pero podría ser un objeto físico como un par de auriculares, un termostato o un letrero en la carretera.
La ciencia proviene de cambiar el producto y observar cómo los humanos cambian su comportamiento como resultado. Y no puede hacerlo mejor que ver a sus clientes interactuar con su producto en la naturaleza para saber si un cambio fue útil o no.
Pero no puedes probar todo. Hay cosas infinitas para probar y cualquier grupo encargado de experimentar tendrá que reducir las cosas a un conjunto finito de ideas. ¿Dónde empiezas?
- Comience con el producto en sí. Pregúntele a las personas que están familiarizadas con él cómo les gusta, lo que desean que fuera diferente, Sean Ellis, NPS, la prueba de mamáetc. Este es el punto de partida común para los equipos de productos y casi todos los demás.
- Comience con la naturaleza humana. Durante muchas décadas, los científicos del comportamiento han documentado patrones particulares en el comportamiento humano. Estos científicos van por diferentes nombres (economistas conductuales, psicólogos conductuales, etc.).
En mi humilde opinión, el segundo de estos puntos de partida está severamente subestimado. La ciencia del comportamiento tiene Docenas documentadas de patrones de comportamiento Eso puede informar cómo su producto podría cambiar de manera más efectiva.
Algunas menciones honoríficas …
- Aversión a la pérdida: La gente odia perder más de lo que les gusta ganar
- Pico de extremo: La gente recuerda las cosas más favorablemente cuando terminan con una nota positiva
- Normas Sociales vs Market: Todo cambia cuando las personas pagan por bienes y servicios en lugar de pedir favores
- Enmarcado: Las personas toman decisiones basadas en cómo Se presenta la información
- Sesgo de dígito izquierdo: Las percepciones de un precio están influenciadas desproporcionadamente por el dígito principal ($ 0.99 = 🔥, $ 1.01 = 🥱)
- Sesgo presente: gente odiar la espera
Estos atajos mentales no son una bala de plata para el producto y Marketing. Hemos probado muchos de estos en diferentes entornos sin ningún efecto, pero algunos han funcionado. Tal vez encuentre $ 160 millones debajo de los cojines de su sofá.
Zoom en el sesgo actual
Muchos humanos demuestran un patrón de comportamiento en el que prefieren recompensas pequeñas e inmediatas sobre recompensas más grandes en el futuro. Los científicos sociales llaman a esto sesgo presente Y mídalo con preguntas difíciles como …
Las personas que eligen recompensas inmediatas y más pequeñas tienen cierta medida de sesgo actual.
El sesgo actual puede variar entre las personas y las circunstancias. Podrías ser una persona paciente en la mayoría de las situaciones. Pero cuando tienes hambre o cansado … no tanto. Esta es una razón por la cual las pruebas A/B son tan útiles en comparación con, por ejemplo, encuestas o entrevistas.
Para nuestro experimento, la pregunta no es tan diferente de las preguntas del laboratorio:
- ¿Prefieres tener ~ $ 8 en algún momento de esta semana o $ 100 en algún momento en las próximas semanas y tal vez nunca?
Resultados del experimento
Muchos de nosotros (la compañía actual incluida) pensamos que la oferta de $ 100 sería mejor. Suena más grande. Se ve mejor en un correo electrónico. Es fácil de explicar.
También pensé que podríamos tener más aplicaciones De las referencias con el programa de $ 1/hora, pero no pensé que eso llevaría a cabo más referencias. Pensé que la gente tomaría el dinero y correría.
Para mi sorpresa, el programa de $ 1/hora entregó más solicitudes a través de referencias y más médicos que trabajantodo en un mucho menor costo.
La oferta de $ 100 condujo a un aumento del 65% en las referencias en comparación con nuestro grupo de control. ¡Esto es enorme!. A muchas personas les gusta este tipo de programa porque solo estamos dando recompensas cuando una referencia es exitosa. Parece que el dinero está bien gastado.
La oferta de $ 1/hora, sin embargo, es aún mejor. Las referencias aumentaron en un 81% en comparación con nuestro grupo de control. Y a pesar de que las recompensas fueron más pequeñas y pagadas anteriormente, las referencias de estos IntelyPros aún comenzaron a trabajar para nosotros a la misma tasa que el Grupo de $ 100.
Sí, muchos IntelyPros obtuvieron recompensas por referencias que se aplicaron y luego no pudo cruzar la línea de meta, pero las matemáticas aún funcionaban. Incluso con una tasa de conversión imperfecta de la aplicación al trabajo, el costo total por nuevo trabajo en IntelyPro fue menos de la mitad del costo del grupo de $ 100.
ABT: siempre estar probando
El papel que juegan las referencias para un negocio puede cambiar por muchas razones. A medida que una empresa se vuelve más grande y más familiar, las referencias se vuelven menos importantes. No necesitas que la gente difunda la palabra porque la palabra ya está disponible.
Realizamos esta prueba en 2020 durante una pandemia global. Realizamos una prueba a menor escala un año después y vimos resultados similares. ¿Veríamos los mismos resultados ahora, en 2025? Difícil de decir. Las cosas son muy diferentes en el espacio de personal de atención médica hoy en día.
Esta es otra razón por la cual las pruebas son tan importantes. Algo como bonos de referencia podría hacer maravillas para la empresa y ser un fracaso para la empresa B. La ventaja de los experimentos de productos es que el mundo es su laboratorio. La desventaja es que es difícil saber qué generaliza a otros productos.
Contradas clave para aquellos que llegaron tan lejos
- Cuando está ejecutando experimentos para mejorar su producto y recopilar datos de los humanos que usan su producto, la ciencia del comportamiento es un lugar fructífero para buscar ideas de prueba.
- ¡A veces las ideas que parecen menos grandes resultan tener el mayor impacto!
- El tiempo y la presentación son importantes para incentivos. Antes de aumentar el tamaño de algún pago, tal vez piense en el tiempo y el esfuerzo requeridos para ganar ese pago.
(Esta publicación fue restaurada de mi propia publicación 2022 en conductualeconomics.com)