Genai ya ha tenido un impacto extraordinario en la productividad empresarial. Marc Benioff ha declarado Salesforce mantendrá su personal de ingeniería de software plano debido a un aumento del 30% en la productividad gracias a la IA. Los usuarios aprovechan el copiloto de Microsoft crear o editar 10% más de documentos.
Pero este impacto se ha distribuido uniformemente. Los modelos poderosos son una simple llamada de API y están disponibles para todos (como los anuncios de Meta y Openai, asegúrese de recordarnos).
La verdadera interrupción se encuentra con «datos + ai». En otras palabras, cuando las organizaciones combinan sus datos de primera parte con LLM para desbloquear ideas únicas, automatizar procesos o acelerar los flujos de trabajo especializados.
Nadie lo sabe exactamente Cuando esta ola de marea llegará, pero en base a nuestras conversaciones con docenas de equipos que trabajan activamente en aplicaciones de datos + AI, está claro que el tiempo es casi casi.
¿Por qué? Bueno, esto sigue un patrón que hemos visto antes. Varias veces. Cada cambio de tecnología importante ve la adopción inicial que se magnifica una vez que alcanza la confiabilidad de nivel empresarial. Vimos esto con el software y la observabilidad de la aplicación, los datos y Observabilidad de datosy pronto datos + ai y datos + ai observabilidad.
En esta publicación, destacaremos el progreso de Datos empresariales + Las iniciativas de IA, así como el camino que muchos equipos están tomando para cruzar el punto de inflexión.
Pasado es prólogo
Data + Ai entregará un valor exponencialmente más único, pero también es exponencialmente más difícil.
La mayoría de las organizaciones no tienen $ 500 mil millones de repuesto para iniciativas con temática de ciencia ficción. Las aplicaciones empresariales deben ser económicamente factibles y confiables.
Mirando los avances tecnológicos pasados, a saber, la computación en la nube y los big data, podemos ver que normalmente ocurre en ese orden. Los avances de infraestructura y capacidad crean demanda y se requieren mayores niveles de confiabilidad para sostenerla.
Antes de que Internet impulsara las aplicaciones SaaS más impactantes del mundo con tareas cada vez más críticas, desde la banca hasta la navegación en tiempo real, fue principalmente el dominio de las imágenes de CAT, las salas de chat AOL y las cartas de la cadena de correo electrónico. Ese cambio solo sucedió una vez que llegamos a los legendarios «5 9 de confiabilidad». Las prácticas de ingeniería de confiabilidad S3, Datadog y del sitio cambiaron el mundo.
Antes de que alimenten datos valiosos productos de datos como modelos de aprendizaje automático y aplicaciones de marketing en tiempo real, los almacenes de datos se usaron principalmente para crear gráficos en carpetas que se quedaron al lado de las reuniones de la junta. Snowflake y Databricks cambiaron la economía y la capacidad del almacenamiento/procesamiento de datos y Observabilidad de datos trajo confiabilidad a la pila de datos moderna.
Este patrón se repite con AI. 2023 fue el año de las GPU. 2024 fue el año de los modelos fundamentales. 2025 ya ha visto aumentos dramáticos en la capacidad con Veterano y la onda inicial de aplicaciones de agente se convertirá en una ola de marea.
Nuestra apuesta es que 2026 será el año en que los datos + AI cambian el mundo … y, si el historial es un indicador, no será una coincidencia que esta revolución sea precedida inmediatamente por los avances en la observabilidad.
Donde los equipos de datos + AI están hoy
Los equipos de datos + IA están más avanzados de lo que estaban el año pasado. Basado en nuestras conversaciones:
- El 40% está en la etapa de producción (30% acaba de llegar)
- 40% están en la etapa semi o de preproducción
- 20% están en la etapa de experimentación
Si bien puede ver la construcción de masas críticas, todos enfrentan desafíos mientras intentan alcanzar la escala completa. Los temas más comunes:
Preparación de datos – No puedes tener una buena IA con malos datos. En el lado de datos estructurados de la casa, los equipos están corriendo para lograr «Datos listos para la AI. » En otras palabras, para crear una fuente central de verdad y reducir sus datos + tiempo de inactividad de AI.
En el lado no estructurado, los equipos están luchando con fuentes contradictorias e información anticuada. Un equipo en particular citó un «miedo a una base de conocimiento inmanejable» como el principal impedimento de la escala.
Expansión del sistema – Actualmente, no existe lo que llamaríamos una arquitectura estándar de la industria, aunque están surgiendo pistas. La pila de datos + AI es en realidad cuatro pilas separadas que se unen: datos estructurados, datos no estructurados, IA y, a menudo, la pila SaaS.
Cada pila por sí sola es difícil de gobernar y mantener altos niveles de confiabilidad. Ponerlos juntos es la complejidad cuadrada. Casi todos los equipos de datos con los que hemos hablado están tratando de consolidar el caos donde pueden, por ejemplo, aprovechando grandes plataformas de nubes de datos modernas para muchos de los componentes centrales en lugar de bases de datos de vectores especialmente diseñadas.
Bucles de retroalimentación – Uno de los desafíos más comunes inherentes a las aplicaciones de datos + AI es que evaluar la salida es a menudo subjetiva. Los enfoques comunes incluyen:
- Dejar que los anotadores humanos obtengan resultados
- Seguimiento del comportamiento del usuario (como los pulgares hacia arriba/hacia abajo o la aceptación de una sugerencia) como una medida indirecta de calidad
- Uso de modelos (LLMS, SLMS y otros) para obtener salidas en varios criterios
- Comparación de salidas con una verdad de tierra conocida
Todos los enfoques tienen desafíos, y crear correlaciones entre los cambios en el sistema y los resultados de salida es casi imposible.
Costo y latencia – El progreso de la capacidad y el costo del modelo es impresionante. Durante un presentación recienteThomas Tunguz, un capitalista de riesgo líder en el espacio de IA, compartió este gráfico que muestra cómo el rendimiento más pequeño (menos costoso) está alcanzando niveles de rendimiento similares a los modelos más grandes.
Pero todavía no estamos del todo en los precios de la infraestructura de productos básicos. La mayoría de los equipos con los que hablamos tenían preocupaciones sobre el impacto financiero de la adopción de la IA. Si se produjo algún monitoreo, fue la mayoría de las veces en tokens y costo en lugar de confiabilidad de resultados.
La siguiente frontera: datos de datos + ai
Data + AI es un espacio en evolución con desafíos únicos, pero los principios de construir sistemas tecnológicos confiables han sido consistentes durante décadas.
Uno de esos principios básicos es este: no puede simplemente verificar esporádicamente el producto al final de la línea de ensamblaje o incluso en ciertos puntos en toda la línea de ensamblaje. En cambio, necesita una visibilidad total en la línea de ensamblaje en sí. Para los sistemas complejos, es la única forma de identificar los problemas temprano y rastrearlos de nuevo a la causa raíz.
Pero necesitas observar el sistema completo. De extremo a extremo. No funciona de otra manera.
Para lograr datos + confiabilidad de IA, los equipos no tendrán éxito observando modelos en el vacío. Para la observabilidad de datos + AI, eso significa integraciones en los componentes del sistema central. En otras palabras, las cuatro formas en que los datos + productos AI se rompen: en los datos, el sistema, el código o el modelo.
Los problemas de detección, triamiento y resolución requerirán visibilidad de datos estructurados/no estructurados, sistemas de orquestación/agente, indicaciones, contextos y respuestas modelo. (Estén atentos para una próxima inmersión profunda sobre lo que esto significa y cómo cada componente pica).
Los datos + AI ya no son dos tecnologías separadas; Son un solo sistema. Para el próximo año, esperemos que lo estemos tratando como tal.
El cambio ocurre lentamente, luego todo a la vez
Estamos en ese precipicio con datos + ai.
Ninguna organización se sorprenderá por el qué o el cómo. Todos los miembros de la sala de juntas, el C-suite y la sala de descanso han visto cómo los cambios de plataforma pasados han creado éxitos de taquilla y Netflixes.
La sorpresa estará en el cuando y el dónde. Cada organización está compitiendo, pero no saben cuándo pivotar cuándo entrar en un sprint, o incluso dónde correr.
Estarse quieto no es una opción, pero nadie quiere usar una infraestructura en rápida evolución para construir aplicaciones de IA a medida que se vuelvan rápidamente comerciantes. Nadie quiere que acompañe su imagen el próximo AI Alucinación titular.
Está claro que lograr la confiabilidad a escala será el punto de inflexión que corona a los nuevos titanes de la industria. Nuestra recomendación es que a medida que el espacio de datos + AI madura, asegúrese de estar preparado para pivotar.
Porque si el pasado nos ha mostrado algo, es que las organizaciones con las bases adecuadas para construir sistemas confiables con altos niveles de preparación de datos serán las que cruzarán la línea de meta.