El proyecto de IA para tener éxito, dominar la gestión de expectativas es lo primero.
Cuando se trabaja con proyectos de IA, la incertidumbre no es solo un efecto secundario, puede hacer o romper toda la iniciativa.
La mayoría de las personas afectadas por los proyectos de IA no entienden completamente cómo funciona la IA, o que los errores no solo son inevitables sino que en realidad una parte natural e importante del proceso. Si ha estado involucrado en proyectos de IA antes, probablemente haya visto cómo las cosas pueden salir mal cuando las expectativas no están claramente establecidas con las partes interesadas.
En esta publicación, compartiré consejos prácticos para ayudarlo a administrar las expectativas y mantener su próximo proyecto de IA en camino, especialmente en proyectos en el espacio B2B (empresa a empresa).
(Raramente) Promesa de rendimiento
Cuando aún no conoce los datos, el entorno o incluso el objetivo exacto del proyecto, el rendimiento prometedor por adelantado es una manera perfecta de garantizar el fracaso.
Es probable que perderá la marca, o peor, incentivó para usar trucos estadísticos cuestionables para que los resultados se vean mejor de lo que son.
Un mejor enfoque es discutir las expectativas de rendimiento. Solo después Has visto los datos y explorado el problema en profundidad. En Daredata, una de nuestras prácticas clave es agregar un “Fase 0” a proyectos. Esta etapa inicial nos permite explorar posibles direcciones, evaluar la viabilidad y establecer una línea de base potencial, todo antes de que el cliente apruebe formalmente el proyecto.
La única vez que recomiendo comprometerse con un objetivo de rendimiento desde el principio es cuando:
- Tiene plena confianza y un conocimiento profundo de los datos existentes.
- Has resuelto exactamente el mismo problema con éxito muchas veces antes.
Partes interesadas del mapa
Otro paso esencial es identificar ¿Quién estará interesado en su proyecto? Desde el principio. ¿Tiene múltiples partes interesadas? ¿Son una mezcla de perfiles comerciales y técnicos?
Cada grupo tendrá diferentes prioridades, perspectivas y medidas de éxito. Su trabajo es asegurarse de entregar valor que les importe a todos.
Aquí es donde mapeo de las partes interesadas se vuelve esencial. Debe identificar la comprensión de sus objetivos, preocupaciones y expectativas. Y más adapta su comunicación y toma de decisiones a lo largo del proyecto en las diferentes dimnsiones.
Las partes interesadas comerciales pueden preocuparse más por el ROI y el impacto operativo, mientras que las partes interesadas técnicas se centrarán en la calidad de los datos, la infraestructura y la escalabilidad. Si cada lado siente que sus necesidades no están siendo abordadas, tendrá dificultades para enviar su producto o solución.
Un ejemplo de mi carrera fue un proyecto en el que un cliente necesitaba una integración con una aplicación de escaneo de productos. Desde el principio, esta integración no estaba garantizada, y no teníamos idea de lo fácil que sería implementar. Decidimos llevar temprano a los desarrolladores de la aplicación a la conversación. Fue entonces cuando supimos que estaban a punto de lanzar la característica exacta que planeamos construir, solo dos semanas después. Esto le ahorró al cliente mucho tiempo y dinero, y evitó al equipo de la frustración de crear algo que nunca se utilizaría.
Comunicar la naturaleza probabilística de la IA temprano
Ai es probabilístico por naturalezauna diferencia fundamental de la ingeniería de software tradicional. En la mayoría de los casos, las partes interesadas no están acostumbradas a trabajar en este tipo de incertidumbre. Para ayudar, los humanos no son naturalmente buenos para pensar en probabilidades a menos que hayamos sido entrenados para ello (por eso las loterías aún se venden tan bien).
Por eso es esencial comunicar la naturaleza probabilística de los proyectos de IA desde el principio. Si las partes interesadas esperan resultados deterministas y 100% consistentes, perderán rápidamente la confianza cuando la realidad no coincida con esa visión.
Hoy, esto es más fácil de ilustrar que nunca. La IA generativa ofrece ejemplos claros y identificables: incluso cuando da exactamente la misma entrada, la salida rara vez es idéntica. Use manifestaciones temprano y comunique esto desde la primera reunión. No asuma que las partes interesadas entienden cómo funciona la IA.
Establecer hitos en fase
Establezca hitos en fase desde el principio. Desde el primer día, defina puntos de control claros en el proyecto donde las partes interesadas pueden evaluar el progreso y tomar una decisión de ir/no ir. Esto no solo genera confianza, sino que también garantiza que las expectativas estén alineadas durante todo el proceso.
Para cada hito, establezca una rutina de comunicación consistente con informes, correos electrónicos de resumen o reuniones de dirección cortas. El objetivo es mantener a todos informados sobre el progreso, los riesgos y los próximos pasos.
Recuerde: las partes interesadas preferirían escuchar malas noticias temprano de lo que se dejará en la oscuridad.
Alejarse de las métricas técnicas al impacto empresarial
Las métricas técnicas por sí solas rara vez cuentan la historia completa Cuando se trata de lo que más importa: el impacto comercial.
Tome precisión, por ejemplo. Si su modelo obtiene un 60%, ¿es bueno o malo? En el papel, puede parecer pobre. Pero, ¿qué pasa si cada verdadero positivo genera ahorros significativos para la organización, y los falsos positivos tienen poco o ningún costo? De repente, ese mismo 60% comienza a verse muy atractivo.
Las partes interesadas del negocio a menudo enfatizan demasiado las métricas técnicas, ya que es más fácil para ellos comprender, lo que puede conducir a percepciones equivocadas de éxito o fracaso. En realidad, Comunicar el valor comercial es mucho más poderoso y más fácil de comprender.
Siempre que sea posible, concentre sus informes sobre el impacto comercial y deje las métricas técnicas al equipo de ciencia de datos.
Un ejemplo de un proyecto que hemos hecho en mi empresa: construimos un algoritmo para detectar fallas en el equipo. Cada falla identificada correctamente le ahorró a la compañía más de € 500 por pieza de fábrica. Sin embargo, cada falso positivo detuvo la línea de producción durante más de dos minutos, lo que costó alrededor de € 300 en promedio. Debido a que el costo de un falso positivo fue significativo, nos centramos en optimizar para precisión en lugar de empujar la precisión o recordar más alto. De esta manera, evitamos paradas innecesarias mientras capturamos las fallas más valiosas.
Las partes interesadas del negocio a menudo enfatizan demasiado las métricas técnicas porque son más fáciles de comprender, lo que puede conducir a percepciones equivocadas de éxito o fracaso.
Exhibir escenarios de interpretabilidad
Los modelos más precisos no siempre son más interpretablesy esa es una compensación que los interesados deben entender desde el primer día.
A menudo, las técnicas que nos brindan el mayor rendimiento (como los métodos de conjunto complejos o el aprendizaje profundo) también son las que hacen que sea más difícil de explicar por qué Se realizó una predicción específica. Los modelos más simples, por otro lado, pueden ser más fáciles de interpretar, pero pueden sacrificar la precisión.
Esta compensación no es inherentemente buena o mala, es una decisión que debe tomarse en el contexto de los objetivos del proyecto. Por ejemplo:
- En industrias altamente reguladas (finanzas, atención médica), la interpretabilidad podría ser más valiosa que exprimir los últimos puntos de precisión.
- En otras industrias, como cuando se comercializa un producto, un impulso de rendimiento podría generar ganancias comerciales tan significativas que reducen la interpretabilidad es un compromiso aceptable.
No rehuyas el levantamiento tan temprano. Debe saber que todos están de acuerdo con el equilibrio entre precisión y transparencia antes de comprometerse con un camino.
Piense en el despliegue desde el día 1
Los modelos AI están construidos para ser implementados. Desde el principio, debe diseñarlos y desarrollarlos con implementación en mente.
El objetivo final no es solo crear un modelo impresionante en un laboratorio, es asegurarse de que funcione de manera confiable en el mundo real, a escala e integrado en los flujos de trabajo de la organización.
Pregúntese: ¿De qué sirve el “mejor” modelo de IA en el mundo si no se puede implementar, escalarse o mantenerse? Sin implementación, su proyecto es solo una prueba de concepto costosa sin un impacto duradero.
Considere los requisitos de implementación temprano (infraestructura, tuberías de datos, monitoreo, procesos de reentrenamiento) y se asegura de que su solución de IA sea utilizable, mantenible e impactante. Sus partes interesadas se lo agradecerán.
(Bonificación) En Genai, no te rehuyas hablar del costo
Resolver un problema con la IA generativa (Genai) puede ofrecer una mayor precisión, pero a menudo tiene un costo.
Para lograr el nivel de rendimiento que muchos usuarios comerciales imaginan, como la experiencia de ChatGPT, es posible que necesite:
- Llame a un modelo de idioma grande (LLM) varias veces en un solo flujo de trabajo.
- Implementar AI agente Arquitecturas, donde el sistema utiliza múltiples pasos y cadenas de razonamiento para alcanzar una mejor respuesta.
- Usar LLMS más caro y de mayor capacidad Eso aumenta significativamente su costo por solicitud.
Esto significa que el rendimiento en los proyectos de Genai no se trata solo de actuación, Siempre es un equilibrio entre calidad, velocidad, escalabilidad y costo.
Cuando hablo con las partes interesadas sobre el rendimiento de Genai, siempre traigo costos a la conversación temprano. Los usuarios comerciales a menudo asumen que el alto rendimiento que ven en las herramientas orientadas al consumidor como ChatGPT se traducirán directamente en su propio caso de uso. En realidad, esos resultados se logran con modelos y configuraciones que pueden ser prohibitivamente costosas de ejecutar a escala en un entorno de producción (y solo posible para empresas multimillonarias).
La clave es Establecer expectativas realistas:
- Si el negocio está dispuesto a pagar el rendimiento de primer nivel, excelente
- Si las limitaciones de costos son estrictas, es posible que deba optimizar una solución “lo suficientemente buena” que equilibre el rendimiento con la asequibilidad.
Esos son mis consejos para establecer expectativas en proyectos de IA, especialmente en el espacio B2B, donde las partes interesadas a menudo entran con supuestos fuertes.
¿Qué pasa contigo? ¿Tiene consejos o lecciones aprendidas a agregar? ¡Compártalos en los comentarios!