Una guía práctica para evaluar y tomar decisiones de manera eficaz sobre los datos para enriquecer y mejorar sus modelos
Durante los últimos cinco años, me desempeñé como vicepresidente de ciencia de datos, inteligencia artificial e investigación en dos empresas que cotizan en bolsa. En ambos puestos, la inteligencia artificial era fundamental para el producto principal de la empresa. Nos asociamos con proveedores de datos que enriquecieron nuestros datos con características relevantes que mejoraron el rendimiento de nuestros modelos. Después de haber tenido mi cuota justa de problemas con los proveedores de datos, Esta publicación te ayudará a ahorrar tiempo y dinero. al probar nuevos proveedores.
Advertencia: No comience este proceso hasta que tenga métricas comerciales muy claras para su modelo y haya dedicado una cantidad decente de tiempo a optimizar su modelo. Trabajar con la mayoría de los proveedores de datos por primera vez suele ser un proceso largo (semanas en el mejor de los casos, pero a menudo meses) y puede ser muy costoso (algunos proveedores de datos con los que he trabajado cuestan decenas de miles de dólares al año, otros han acumulado millones de dólares al año cuando se opera a escala).
Dado que normalmente se trata de una gran inversión, Ni siquiera comiences el proceso a menos que seas capaz de formular claramente cómo se tomará la decisión de ir o no. Este es el error número uno que he visto, así que vuelva a leer esa oración. Para mí, esto siempre ha requerido transformar todos los datos de entrada de las decisiones en dólares.
Por ejemplo, la métrica de rendimiento de su modelo podría ser PRAUC de un modelo de clasificación predecir el fraude. Supongamos que su PRAUC aumenta de 0,9 a 0,92 con los nuevos datos agregados, lo que podría ser una mejora enorme desde una perspectiva de ciencia de datos. Sin embargo, cuesta 25 centavos por llamada. Para determinar si esto vale la pena, deberá convertir el PRAUC incremental en dólares de margen. Esta etapa puede llevar tiempo y requerirá una buena comprensión del modelo de negocio. ¿Cómo se traduce exactamente un PRAUC más alto en mayores ingresos/margen para su empresa? Para la mayoría de los científicos de datos, esto no siempre es sencillo.
Esta publicación no cubrirá todos los aspectos de la selección de un proveedor de datos (por ejemplo, no analizaremos la negociación de contratos), pero sí cubrirá los aspectos principales que se esperan de usted como líder en ciencia de datos.
Si parece que usted es quien toma las decisiones y su empresa opera a gran escala, lo más probable es que reciba periódicamente correos electrónicos no solicitados de proveedores. Si bien un proveedor aleatorio puede tener algún valor, generalmente es mejor hablar con expertos de la industria y comprender qué proveedores de datos se utilizan comúnmente. en esa industria. Existen enormes efectos de red y economías de escala al trabajar con datos, por lo que los proveedores más grandes y conocidos generalmente pueden aportar más valor. No confíe en los proveedores que ofrecen soluciones para todos los problemas o sectores, y recuerde que los datos más valiosos suelen ser los que requieren más trabajo para crearse, no algo que se pueda extraer fácilmente de Internet.
Algunos puntos a cubrir al iniciar las conversaciones iniciales:
- ¿Quiénes son sus clientes? ¿Cuántos clientes importantes tienen en su sector?
- Costo (al menos orden de magnitud), ya que esto podría ser un factor decisivo en un principio
- Capacidad de viajar en el tiempo: ¿Tienen la capacidad técnica para “viajar en el tiempo” y decirle cómo existían los datos en una instantánea en el tiempo? Esto es fundamental cuando se ejecuta una prueba de concepto histórica (más sobre esto a continuación).
- Restricciones técnicas: Latencia (consejo profesional: mire siempre p99 u otros percentiles más altos, no promedios), SLA de tiempo de actividad, etc.
Suponiendo que el proveedor haya marcado las casillas de los puntos principales anteriores, estará listo para planificar una prueba de prueba de concepto. Debe tener un modelo de referencia con una métrica de evaluación clara que pueda traducirse en métricas comerciales. Su modelo debe tener un conjunto de entrenamiento y un conjunto de prueba fuera de tiempo (quizás también uno o más conjuntos de validación). Por lo general, enviará las características relevantes del conjunto de capacitación y prueba, con su marca de tiempo, para que el proveedor combine sus datos tal como existían históricamente (viaje en el tiempo). Luego puede volver a entrenar su modelo con sus características y evaluar la diferencia en el conjunto de prueba fuera de tiempo.
Lo ideal es que no compartas tu variable de destino con el proveedor. En ocasiones, los proveedores pueden solicitar recibir tu variable de destino para “calibrar/ajustar” su modelo, entrenar un modelo a medida, realizar una selección de características o cualquier otro tipo de manipulación para adaptar mejor sus características a tus necesidades. Si decides compartir la variable de destino, asegúrate de que sea solo para el conjunto de entrenamiento. nunca el conjunto de prueba.
Si te pusiste los pelos de punta al leer el párrafo anterior, te felicito. Cuando trabajan con proveedores, siempre estarán ansiosos por demostrar el valor de sus datos, y esto es especialmente cierto para los proveedores más pequeños (donde cada acuerdo puede marcar una gran diferencia para ellos).
Una de mis peores experiencias trabajando con un proveedor fue hace unos años. Un nuevo proveedor de datos acababa de firmar una Serie A, generó mucho revuelo y prometió datos extremadamente relevantes para uno de nuestros modelos. Era un producto nuevo del que carecíamos de datos relevantes y creíamos que podría ser una buena manera de poner en marcha las cosas. Seguimos adelante y comenzamos una POC, durante la cual su modelo mejoró nuestro AUC de 0,65 a 0,85 en nuestro conjunto de entrenamiento. En el set de prueba, su modelo fracasó por completo: se habían sobreajustado ridículamente en el set de entrenamiento. Después de discutir esto con ellos, solicitaron la variable objetivo del conjunto de prueba para analizar la situación. Pusieron a su científico de datos senior a trabajar y pidieron una segunda iteración. Esperamos unas semanas más para que se recopilaran nuevos datos (que sirvieran como un nuevo conjunto de pruebas invisible). Una vez más, mejoraron dramáticamente las AUC en el nuevo tren, solo para bombardear una vez más en el set de prueba. No hace falta decir que no avanzamos.
- Establezca un umbral de retorno de la inversión más alto:
Comience calculando el ROI: estime el margen neto incremental generado por el modelo en relación con el costo. La mayoría de los proyectos querrán un buen rendimiento positivo. Dado que hay mucho espacio para problemas que erosionan su retorno (derivación de datos, implementación gradual, limitación de uso con todos sus segmentos, etc.), establezca un umbral más alto de lo que normalmente establecería. En ocasiones, he requerido un retorno financiero 5 veces mayor sobre los costos de enriquecimiento como una barra mínima para seguir adelante con un proveedor, como un amortiguador contra la deriva de datos, el posible sobreajuste y la incertidumbre en nuestra estimación puntual de ROI. - Enriquecimiento Parcial:
Tal vez el ROI de todo el modelo no sea suficiente. Sin embargo, algunos segmentos pueden mostrar un aumento mucho mayor que otros. Dividir el modelo en dos puede ser la mejor opción y enriquecer solo esos segmentos. Por ejemplo, tal vez esté ejecutando un modelo de clasificación para identificar pagos fraudulentos. Tal vez los nuevos datos probados arrojen un ROI sólido en Europa, pero no en el resto del mundo. - Enriquecimiento por fases: Si tienes un modelo de clasificación, puedes considerar dividir tu decisión en dos fases:
- Fase 1: ejecutar el modelo existente
- Enriquezca únicamente las observaciones cercanas a su umbral de decisión (o por encima de él, según el caso de uso). Todas las observaciones que se encuentren más allá del umbral se deciden en la Fase 1.
- Fase 2: Ejecutar el segundo modelo para refinar la decisión
Este enfoque puede resultar muy útil para reducir costos al enriquecer un pequeño subconjunto y al mismo tiempo obtener la mayor parte del impulso, especialmente cuando se trabaja con datos desequilibrados. No será tan útil si el segundo modelo genera un cambio de gran tamaño. Por ejemplo, si pedidos aparentemente muy seguros se identifican posteriormente como fraude debido a los datos enriquecidos, tendrá que enriquecer la mayoría (si no todos) los datos para obtener ese impulso. La fase de enriquecimiento también duplicará potencialmente el tiempo de latencia, ya que ejecutará dos modelos similares de forma secuencial, por lo que debe considerar cuidadosamente cómo optimizar la compensación entre latencia, costo y aumento de rendimiento.
Trabajar eficazmente con proveedores de datos puede ser un proceso largo y tedioso, pero el aumento del rendimiento de sus modelos puede ser significativo. Con suerte, esta guía le ayudará a ahorrar tiempo y dinero. ¡Feliz modelaje!