son notoriamente difíciles de diseñar e implementar. A pesar de la exageración y la avalancha de nuevos marcos, especialmente en el espacio generativo de IA, convertir estos proyectos en un valor real y tangible sigue siendo un desafío serio en Enterpriss.
Todos están entusiasmados con la IA: los tableros lo quieren, los ejecutivos lo presentan y los desarrolladores aman la tecnología. Pero aquí está la verdad muy dura: los proyectos de IA no solo fallan como Proyectos de TI tradicionales, fallan peor. ¿Por qué? Porque heredan todo el desorden de los proyectos de software regulares más Una capa de incertidumbre probabilística que la mayoría de las organizaciones no están listas para manejar.
Cuando ejecuta un proceso de IA, hay un cierto nivel de aleatoriedad involucrado, lo que significa que puede no producir los mismos resultados cada vez. Esto agrega una capa adicional de complejidad para la que algunas organizaciones no están listas.
Si ha trabajado en algún proyecto de TI, recordará los problemas más comunes: requisitos poco claros, escalofrío, silos o incentivos desalineados.
Para proyectos de IA, puede agregar a la lista: “Ni siquiera estamos seguros de esto Funciona de la misma manera cada vez“Y tienes una tormenta perfecta para el fracaso.
En esta publicación de blog, compartiré algunas de las fallas más comunes que hemos encontrado en los últimos cinco años en Daredata, y cómo puede evitar estas frecuentes dificultades en proyectos de IA.
1. No hay una métrica de éxito clara (o demasiadas)
Si preguntas, “¿Cómo es el éxito para este proyecto?“Y obtenga diez respuestas diferentes, o peor, un encogimiento de hombros, eso es un problema.
Un proyecto de aprendizaje automático sin una métrica de éxito fuerte es un esfuerzo costoso. Y no, “Haga un proceso más inteligente“No es una métrica.
Uno de los errores más comunes que veo en los proyectos de IA es tratar de optimizar la precisión (u otra métrica técnica) mientras intenta optimizar el costo (menor costo posible, por ejemplo en infraestructura). En algún momento del proyecto, es posible que deba aumentar los costos, ya sea adquiriendo más datos, utilizando máquinas más potentes o por otras razones, y esto debe hacerse para mejorar el rendimiento del modelo. Claramente, esto no es un ejemplo de optimización de costos.
De hecho, generalmente necesitas uno (tal vez dos) métricas clave que se asignan bien a Negocio impacto. Y si tiene más de una métrica de éxito, asegúrese de tener una prioridad entre ellos.
Cómo evitarlo:
- Establecer una jerarquía clara de métricas de éxito Antes de que comience el proyecto, acordado por todos los interesados involucrados
- Si las partes interesadas no pueden ponerse de acuerdo sobre la jerarquía antes mencionada, No comiences el proyecto.
2. Demasiados cocineros
Demasiadas métricas de éxito normalmente están vinculadas con el “Demasiados cocineros” problema.
Los proyectos de IA atraen a las partes interesadas, ¡y eso es genial! Simplemente muestra que las personas están interesadas en trabajar con estas tecnologías.
Pero, el marketing quiere una cosa, el producto quiere otra, la ingeniería quiere algo completamente diferente, y el liderazgo solo quiere una demostración para mostrar inversores o presumir a los competidores.
Idealmente, debe identificar y mapear las partes interesadas clave al principio del proyecto. La mayoría de los proyectos exitosos tienen uno o dos partes interesadas campeones, personas que están profundamente invertidas en el resultado y pueden impulsar la iniciativa.
Tener más que eso puede conducir a:
- prioridades contradictorias o
- responsabilidad diluida
Y ninguno de esos escenarios es positivo.
Sin un sólido propietario o tomador de decisiones, el proyecto se convierte en un monstruo de Frankenstein, unido juntos en solicitudes o características de última hora que no son relevantes para el gran objetivo.
Cómo evitarlo:
- Asigna el partes interesadas de decisión relevantes y usuarios.
- Nominar a un campeón del proyecto Eso tiene la capacidad de tener un último llamado a las decisiones del proyecto.
- Asigna la política interna de la organización y su impacto potencial en la autoridad de toma de decisiones en el proyecto.
3. Atrapado en el cuaderno La-La Land
Un cuaderno de Python no es un producto. Es una herramienta de investigación / educación.
Una prueba de concepto de Jupyter que se ejecuta en la computadora de alguien no es una arquitectura de nivel de producción. Puede construir un modelo hermoso de forma aislada, pero si nadie sabe cómo implementarlo, entonces ha creado estantería.
El valor real se produce cuando los modelos son parte de un sistema más grande: probado, implementado, monitoreado, actualizado.
Los modelos construidos en los marcos MLOPS y que están integrados con los sistemas de empresas actuales son obligatorios para lograr resultados exitosos. Esto es especialmente importante en las empresas, que tienen toneladas de sistemas heredados con diferentes capacidades y características.
Cómo evitarlo:
- Asegúrese de tener capacidades de ingeniería para la implementación adecuada en la organización.
- Involucre al departamento de TI desde el principio (pero no permita que sean un bloqueador).
4. Las expectativas son un desastre (los proyectos de IA siempre “falla”)
La mayoría de los modelos de IA estarán “equivocados” parte del tiempo. Es por eso que estos modelos son probabilísticos. Pero si las partes interesadas esperan magia (por ejemplo, el 100% de precisión, rendimiento en tiempo real, ROI instantáneo) cada modelo decente se sentirá como una decepción.
Aunque el aspecto actual “conversacional” de la mayoría de los modelos de IA parecía haber mejorado la confianza de los usuarios en la IA (si se pasa la información incorrecta a través del texto, las personas parecen estar bien con él 😊), la expectación del rendimiento de los modelos es una causa significativa de falla de los proyectos de IA.
Las empresas que desarrollan estos sistemas comparten responsabilidad. Es fundamental comunicarse claramente que todos los modelos de IA tienen limitaciones inherentes y un margen de error. Es especialmente importante comunicarse lo que la IA puede hacer, lo que no puedey ¿Qué significa realmente el éxito?. Sin eso, la percepción siempre será un fracaso, incluso si técnicamente es una victoria.
Cómo evitarlo:
- No exagere las capacidades de IA
- Establezca expectativas realistas temprano.
- Definir el éxito en colaboración. De acuerdo con las partes interesadas sobre cómo se ve “lo suficientemente bueno” para el contexto específico.
- Use puntos de referencia con cuidado. Resaltar mejoras comparativas (por ejemplo, “20% mejor que el proceso actual”) en lugar de las métricas absolutas.
- Educar equipos no técnicos. Ayude a los tomadores de decisiones a comprender la naturaleza de la IA: sus fortalezas, limitaciones y dónde agrega valor.
5. Ai Hammer, conoce cada uña
El hecho de que puedas abofetear la IA en algo no significa que deberías hacerlo. Algunos equipos intentan forzar el aprendizaje automático a cada característica de productos, incluso cuando un sistema basado en reglas o una heurística simple sería más rápida, más barata, mejor. Y probablemente inspiraría más confianza de los usuarios.
Si compara demasiado las cosas en capas de IA donde no es necesario, es probable que contribuya a un sistema infundado y frágil que sea más difícil de mantener, más difícil de explicar y, en última instancia, bajo los que se encuentran bajo los que dan cuenta. Peor aún, puede erosionar la confianza en su producto cuando los usuarios no entienden o confíen en las decisiones impulsadas por la IA.
Cómo evitarlo:
- Comience con la solución más simple. Si un sistema basado en reglas funciona, úselo. La IA debe ser una hipótesis, no el valor predeterminado.
- Priorizar la explicabilidad. Los sistemas más simples a menudo son más transparentes, y eso puede ser una característica.
- Validar el valor de AI. Pregunte: ¿Agregar IA mejora significativamente el resultado para los usuarios?
- Diseño para la mantenibilidad. Cada nuevo modelo agrega complejidad. Asegúrese de tener los recursos necesarios para mantener la solución.
Pensamiento final
Los proyectos de IA no son solo otro sabor de la misma, son una bestia completamente diferente. Mezcla la ingeniería de software con estadísticas, comportamiento humano y dinámica organizacional. Es por eso que tienden a fallar de manera más espectacular que los proyectos tecnológicos tradicionales.
Si hay una comida para llevar, es esta: El éxito en la IA rara vez se trata de los algoritmos. Se trata de claridad, alineación y ejecución. Necesita saber a qué apunta, quién es el responsable, cómo se ve el éxito y cómo pasar de una demostración genial a algo que realmente corre en la naturaleza y ofrece valor.
Entonces, antes de comenzar a construir, respira. Haga las preguntas difíciles. ¿Realmente necesitamos AI aquí? ¿Cómo es el éxito? ¿Quién está haciendo la llamada final? ¿Cómo mediremos el impacto?
Obtener estas respuestas temprano no garantizará el éxito, pero hará que el fracaso sea mucho menos probable.
¡Avíseme si conoce alguna otra razón común por las cuales los proyectos de IA fallan! Si desea discutir estos temas, no dude en enviar un correo electrónico @ [email protected]