Esta publicación de blog es una versión actualizada de parte de una conferencia que di en GOTO Amsterdam el año pasado. La charla también está disponible para ver en linea.
Proporcionar valor e impacto positivo a través de iniciativas de productos de aprendizaje automático no es una tarea fácil. Una de las principales razones de esta complejidad es el hecho de que, en las iniciativas de ML desarrolladas para productos digitales, se cruzan dos fuentes de incertidumbre. Por un lado, está la incertidumbre relacionada con la propia solución de ML (¿Seremos capaces de predecir lo que necesitamos predecir con suficiente calidad?). Por otro lado, existe la incertidumbre relacionada con el impacto que todo el sistema podrá proporcionar (¿Les gustará a los usuarios esta nueva funcionalidad? ¿Realmente ayudará a resolver el problema que estamos tratando de resolver?).
Toda esta incertidumbre hace que el fracaso en las iniciativas de productos de ML sea algo relativamente frecuente. Aún así, existen estrategias para gestionar y mejorar las probabilidades de éxito (¡O al menos sobrevivir a través de ellos con dignidad!). Iniciar las iniciativas de aprendizaje automático con el pie derecho es clave. Hablé de mis principales aprendizajes en esa área en una publicación anterior: comience con el problema (y defina cómo se usarán las predicciones desde el principio), comience poco a poco (y manténgalo pequeño si puede) y priorice los datos correctos (calidad, volumen). , historia).
Sin embargo, iniciar un proyecto es sólo el comienzo. El desafío de gestionar con éxito una iniciativa de ML y proporcionar un impacto positivo continúa durante todo el ciclo de vida del proyecto. En esta publicación, compartiré mis tres principales aprendizajes sobre cómo sobrevivir y prosperar durante las iniciativas de aprendizaje automático:
- Abrazar la incertidumbre: innovación, parada, giro y fracaso.
- Rodéate de las personas adecuadas: roles, habilidades, diversidad y la red.
- Aprende de los datos: dirección correcta, ser capaz de mejorar, detectar fallos y tener un plan.
Es realmente difícil (¡incluso imposible!) planificar iniciativas de ML de antemano y desarrollarlas de acuerdo con ese plan inicial.
El plan de proyecto más popular para iniciativas de ML es el Ciclo de vida del aprendizaje automático, que divide las fases de un proyecto de ML en comprensión empresarial, comprensión de datos, preparación de datos, modelado, evaluación e implementación. Aunque estas fases se dibujan como pasos consecutivos, en muchas representaciones de este ciclo de vida encontrarás flechas que apuntan hacia atrás: en cualquier punto del proyecto, puedes aprender algo que te obligue a volver a una fase anterior.
Esto se traduce en proyectos en los que es muy difícil saber cuándo terminarán. Por ejemplo, durante el paso de evaluación, es posible que, gracias a las técnicas de explicabilidad del modelo, te des cuenta de que una característica específica no estaba bien codificada y esto te obligue a volver a la fase de preparación de datos. También podría suceder que el modelo no sea capaz de predecir con la calidad que necesita y podría obligarlo a volver al principio en la fase de comprensión del negocio para redefinir el proyecto y la lógica del negocio.
Cualquiera que sea su papel en una iniciativa o proyecto de ML, es clave reconocer las cosas no saldrán según el plan, para aceptar toda esta incertidumbre desde el principio y utilizarla a tu favor. Esto es importante tanto para gestionar las partes interesadas (expectativas, confianza) como para usted y el resto del equipo (motivación, frustración). ¿Cómo?
- Evite limitaciones de tiempo o de entrega demasiado ambiciosas, garantizando que las iniciativas de aprendizaje automático se perciban como lo que realmente son: innovación que necesita explorar lo desconocido y tiene un alto riesgo, pero también una gran recompensa y potencial.
- Sepa cuando parar, equilibrando el valor de cada mejora incremental (¡Los modelos ML siempre se pueden mejorar!) con su precio en términos de tiempo, esfuerzo y costo de oportunidad.
- Esté preparado para girar y fallar, aprovechando continuamente los aprendizajes y conocimientos que el proyecto le brinda, y decidir modificar el alcance del proyecto, o incluso eliminarlo si eso es lo que le dicen esos nuevos aprendizajes.
Cualquier proyecto comienza con las personas. La combinación adecuada de personas, habilidades, perspectivas y una red que te empodera.
Se acabaron los días en que los modelos de aprendizaje automático (ML) estaban confinados a la computadora portátil del científico de datos. Hoy en día, el verdadero potencial del ML se materializa cuando los modelos se implementan e integran en los procesos de la empresa. Esto significa que es necesario que más personas y habilidades colaboren para hacerlo posible (científicos de datos, ingenieros de aprendizaje automático, desarrolladores de backend, ingenieros de datos…).
El primer paso es identificar el habilidades y roles que se requieren para construir con éxito la solución de aprendizaje automático de un extremo a otro. Sin embargo, se requiere más que un grupo de roles que abarquen una lista de habilidades. Teniendo un equipo diverso que puede aportar diferentes perspectivas y empatizar con diferentes segmentos de usuarios ha demostrado ayudar a los equipos a mejorar sus formas de trabajar y crear mejores soluciones (“por qué tener un equipo diverso mejorará sus productos”).
La gente no habla lo suficiente de esto, pero las personas clave para ejecutar un proyecto van más allá del propio equipo. Me refiero a estas otras personas como “la red”. La red está formada por personas que sabes que son realmente buenas en cosas específicas, en las que confías para pedir ayuda y consejo cuando sea necesario, y que pueden desbloquearte, acelerarte o empoderarte a ti y al equipo. La red puede estar formada por las partes interesadas de su negocio, gerente, ingenieros de personal, investigadores de usuarios, científicos de datos de otros equipos, equipo de atención al cliente… Asegúrese de construir su propia red e identificar quién es ese aliado al que puede acudir dependiendo de cada situación o necesidad específica. .
Un proyecto es una oportunidad de aprendizaje continuo y muchas veces los aprendizajes y los conocimientos provienen de la verificación de los datos y monitores correctos.
En las iniciativas de ML existen tres grandes grupos de métricas y medidas que pueden aportar mucho valor en términos de aprendizajes e insights: monitoreo del desempeño del modelo, desempeño del servicio y monitoreo del impacto final. En un post anterior profundicé en este tema.
Verificar los datos y monitores correctos mientras se desarrollan o implementan soluciones de aprendizaje automático es clave para:
- Asegúrese de avanzar en la dirección correcta: esto incluye muchas cosas, desde el diseño correcto de la solución o la elección de las características adecuadas, hasta comprender si es necesario girar o incluso detener el proyecto.
- Sepa qué o cómo mejorar: para comprender si se alcanzaron los objetivos de resultados (por ejemplo, mediante experimentación o pruebas a/b) y profundizar en lo que salió bien, lo que no y cómo continuar entregando valor.
- Detecta fallas a tiempo y ten un plan: para permitir respuestas rápidas a los problemas, idealmente antes de que afecten al negocio. Incluso si impactan el negocio, tener las métricas correctas debería permitirle comprender el por qué del fracaso, mantener las cosas bajo control y preparar un plan para seguir adelante (manteniendo al mismo tiempo la confianza de sus partes interesadas).
Gestionar eficazmente las iniciativas de aprendizaje automático desde el principio hasta el final es una tarea compleja con múltiples dimensiones. En esta publicación de blog compartí, basándome en mi experiencia primero como científico de datos y luego como gerente de producto de ML, los factores que considero clave al abordar un proyecto de ML: aceptar la incertidumbre, rodearse de las personas adecuadas y aprender de los datos.
Espero que estos conocimientos le ayuden a gestionar con éxito sus iniciativas de aprendizaje automático y generar un impacto positivo a través de ellas. Estén atentos para más publicaciones sobre la intersección del aprendizaje automático y la gestión de productos 🙂