a nosotros pidiendo un modelo.
Construimos una prueba de concepto. Tengo luz verde. Entregado el modelo.
Semanas de trabajo…todo para no escuchar nada.
Es una historia tan antigua como el tiempo y que afecta a los profesionales de datos de todo el mundo, desde analistas hasta ingenieros de ML.
Entonces, ¿qué pasó?
Tu modelo es un misterio
Nuestra profesión está arraigada en la informática moderna y los avances tecnológicos. Muchas de las soluciones más poderosas que tenemos a nuestro alcance son aquellas que habrían sido demasiado costosas desde el punto de vista computacional hace décadas. La dependencia de los avances técnicos más recientes y capaces conlleva el escepticismo.
En ciencia de datos, tenemos la capacidad de crear modelos increíblemente complejos. Solo mi equipo tiene cientos de funciones estándar en nuestra biblioteca de funciones que proporcionamos a cada nuevo modelo. Ajustamos docenas de hiperparámetros y utilizamos potentes algoritmos que se repiten a lo largo de cientos de ejecuciones para maximizar el rendimiento predictivo. Este proceso puede crear modelos con una precisión increíble, pero tiene un costo: la explicabilidad.
Hay una delgada línea entre un modelo fuerte y una caja negra que ni siquiera quienes la construyeron pueden explicar.
El equilibrio entre explicabilidad y precisión es un factor importante en mi industria, en particular en la atención médica. Los clientes y partes interesadas suelen ser médicos y clínicos. Estos médicos están acostumbrados a emitir juicios clínicos utilizando sus años de experiencia y su profundo conocimiento de la medicina. Si bien un modelo predictivo puede ser bueno para predecir un resultado determinado, si no se puede explicar bien, los médicos cuestionarán su confiabilidad. Si los médicos tienen que elegir entre un proceso clínico confiable y probado, o un modelo de caja negra con características crípticas y algoritmos inexplicables, probablemente elegirán el proceso clínico siempre.
Entonces, ¿qué puedes hacer para evitar esto? Para mí el mayor éxito es proporcionar a los clientes un resumen modelo fácilmente digerible. Este es un conjunto de diapositivas que guían a los clientes a través del modelo. Comienza definiendo la población de interés, el objetivo, las características y luego termina con la prueba de rendimiento y validación del concepto. En el camino, estoy seguro de definir métricas en función de la cuestión de negocio, poniéndome en el lugar del cliente. Evito el discurso puramente estadístico y mantengo definiciones basadas en los objetivos del cliente. Si el modelo es complejo, me limito a explicaciones de alto nivel del algoritmo y me aseguro de comunicar por qué elegí un conjunto de características tan extenso (o uno tan simple). Desarrollar un resumen completo del modelo es un paso crucial para abrir el telón y permitir que los clientes comprendan el modelo utilizando términos con los que están familiarizados.
Su solución tomó demasiado tiempo
Construir modelos funcionales lleva tiempo. Desde la correspondencia de ida y vuelta con los clientes hasta giros inesperados que no veía venir, diseñar un modelo eficaz y útil no es una tarea rápida. Y luego está el despliegue. Eso es todo un proceso en sí mismo.
Lo que no espera pacientemente es el mundo real. Los clientes viven su día a día con las herramientas que ya tienen a su disposición. Las herramientas que existían antes de que acudieran a usted en busca de ayuda. Si la construcción del modelo lleva demasiado tiempo, podrían abandonar la idea por completo o encontrar soluciones creativas que no involucren modelos predictivos.
Vemos esto todo el tiempo en la atención sanitaria. Las partes interesadas solicitarán un modelo. Después de algunos obstáculos (comunicación estancada de los solicitantes, problemas de acceso a los datos, errores de implementación, etc.), las semanas de desarrollo se convierten en meses. Finalmente, estará listo para presentar los hallazgos después de que todo esté validado y funcionando como se esperaba. Intentas concertar la reunión y te desgarras: “Ya no necesitamos el modelo, lo descubrimos nosotros mismos”. El entorno hospitalario es un ambiente de ritmo rápido. El personal no tiene tiempo para sentarse esperando durante meses. Pueden encontrar, y lo harán, soluciones creativas para mejorar la atención a sus pacientes, incluso si eso significa sacrificar el uso de un modelo predictivo brillante.
Hay un dicho que sigo en el trabajo: “No dejes que lo perfecto se interponga en el camino de lo bueno”. Construye rápido. Idea, perfecciona, revisa… pero siempre avanza. La perfección puede impedirle proporcionar información valiosa. El mundo se mueve rápidamente y si te quedas atrapado en la fase de construcción durante demasiado tiempo, el mundo seguirá adelante sin ti. Entonces, impulse esa v1. Si descubre una mejor manera de hacer las cosas más adelante, puede ser la primera en su lista de mejoras para la versión 2. Alguna solución casi siempre es mejor que ninguna solución.
Si las cosas van más lento de lo planeado, entonces es necesario comunicarse con los clientes con antelación y con frecuencia. Manténgalos informados sobre su progreso y bríndeles un adelanto para mantenerlos interesados y entusiasmados con el producto final. Espera el momento oportuno mientras trabajas para que la versión 1 funcione y esté en sus manos.
Su modelo no es fácil de consumir
Construir un buen modelo predictivo es sólo la mitad de la batalla. En la mayoría de las industrias, las partes interesadas están ocupadas. En el sector sanitario, los médicos y enfermeras están absolutamente desbordados atendiendo a los pacientes. Si el equipo de ciencia de datos acude a un equipo de atención en planta para presentar su modelo más nuevo y preciso, pero acceder a las predicciones agrega complejidad a su flujo de trabajo y los ralentiza en el proceso, el modelo nunca se utilizará. Lo mismo se puede ver en la mayoría de las industrias. Las partes interesadas quieren soluciones que puedan aumentar la eficiencia, el rendimiento y la productividad, no soluciones que sólo agreguen complejidad a sus ya ocupados días.
Si las predicciones introducen fricciones, estás abriendo un camino hacia el abandono, no hacia la adopción.
Ofrecer predicciones que sean fáciles de consumir puede ser uno de los mayores desafíos para los científicos de datos. Puede que seamos expertos en crear modelos precisos y exactos, pero integrar el modelo en la vida diaria de los clientes es menos natural. Esta parte trata menos de números, probabilidades y perspicacia estadística, y más de operaciones, conocimiento empresarial y familiaridad con los procesos diarios de los solicitantes.
En el ámbito hospitalario, esto parece una integración con Epic, el software de registros médicos electrónicos utilizado en todo el sistema. En lugar de requerir que los médicos ocupados inicien sesión en un sistema separado para ver las predicciones, pueden acceder a ellas allí mismo, en los historiales de los pacientes, junto con sus otras herramientas clínicas y datos de los pacientes. En otras industrias, se aplica la misma idea. No interrumpas el proceso actual. Encaja en él.
Concluyendo
Una de las mayores decepciones que puede enfrentar un científico de datos a lo largo de su carrera es que su arduo trabajo no se utilice. Sucede más de lo que uno quisiera pensar y es fácil culpar al cliente. Después de todo, es más fácil para el ego.
En realidad, puede haber algunos elementos cruciales que el científico de datos descuidó en algún momento de la línea de desarrollo. Ser consciente de los errores comunes puede ayudar a los científicos de datos a llevar sus modelos a la meta. La verdadera meta: la adopción.