Introducción
han sido asesinados porque operan dentro del Valley of Choice en BI.
El Valle de la Elección describe la proporción perfecta entre la complejidad de un problema y el esfuerzo que estamos dispuestos a realizar para resolverlo.
Por ejemplo, una pregunta crítica para el negocio sobre cómo se forman los ingresos y por qué las diferentes versiones de los ingresos cambiaron con el tiempo puede justificar una exploración manual. Puede garantizar un descubrimiento profundo facilitado por múltiples consultas SQL y la escritura manual de los resultados y el seguimiento a través del linaje.
Esto es mucho esfuerzo, alta precisión.
Por el contrario, preguntas simples sobre conjuntos de datos simples como “¿Cuántas inscripciones obtuve ayer?” puede satisfacerse con métodos más simples y de menor esfuerzo, como Texto a SQL básico, como se ve en herramientas como Thoughtspot.
En el centro están los tableros. Los paneles proporcionan una solución de esfuerzo moderado para un problema de complejidad moderada. Son capaces de responder múltiples preguntas y pivotar datos para explicar anomalías y pronosticar tendencias. No ayudan a descubrir ideas, pero le ayudan a ofrecer ideas que ya ha encontrado.
Cuando se pregunta algo con suficiente frecuencia, se vuelve digno de un tablero e inmediatamente pasa de una información complicada, única y proporcionada manualmente a algo más simple y más repetible.
Agentic Analytics ofrece una nueva forma de descubrir y ofrecer información valiosa. Eso es texto a SQL. Esta nueva forma significa que las consultas hasta ahora moderadamente complejas ahora pueden responderse instantáneamente.
Herramientas como Hex incorporan memoria en sus plataformas, lo que significa que incluso las consultas complejas, cuando se combinan con memoria, permiten que Text-to-SQL resuelva problemas complejos.
Esto cambia la proporción necesaria entre esfuerzo y complejidad y remodelará nuestra forma de pensar sobre la analítica. Veamos cómo.
Explicando el valle de elección en BI
El Valle de la Elección se puede representar a continuación.
Describe un equilibrio entre velocidad y precisión que está determinado por la naturaleza de la demanda o conocimiento. Manteniendo todo constante, las preguntas más importantes exigen el mayor grado de precisión, lo que a su vez justifica métodos que requieren más tiempo (alto esfuerzo).
Es un poco como decir que puedes comprar un delicioso sándwich en tu tienda de delicatessen por $20 o ir al 11 de Madison Park por $500. Dos productos diferentes, dos opciones diferentes, dos precios diferentes. Los paneles son como una comida en un restaurante normal. $ 100 por persona, pero no es adecuado si eres un soltero elegible en Nueva York.
Ahora: imagina que hay un nuevo restaurante. El Nuevo Restaurante es muy exclusivo. La comida es increíble; todo es orgánico. El servicio excelente. Y muchas celebridades van allí. Es muy deseable. Puedes conseguir una deliciosa comida de 3 platos por $40. Podemos llamarlo Hugo’s Diner.
De hecho, es parte de una nueva tendencia. Hugo tiene un vasto imperio de restaurantes. Está Hugo’s Diner, pero también está Casa Hugo, Chez Hugo, Hugo’s table e incluso Hugo-San. Hugo-San ofrece el mejor omakase de la ciudad por $39,50.
¿A qué te dedicas? ¿Dónde cenas? 11 De repente, Madison Park ya no está tan ocupado. Y esto es lo que está pasando con BI.
En pocas palabras, el costo y la velocidad de ejecutar una consulta a través de la nueva era de texto a SQL es increíblemente bajo. Significa que esencialmente no hay razón para hacer nada más, a menos, por supuesto, que sea absolutamente necesario. En cualquier caso, ciertamente no se está moviendo hacia abajo.
Sí, a veces es posible que tengas que hacer algo manualmente. Sólo para estar seguro. Y de la misma manera, nada llega a la noche de la cita (¿datos?) como Dorsia.
The Shifting Valley: el listón de Analytics acaba de subir
Imagine que no necesita trabajar duro para poner en funcionamiento la capa semántica y Text to SQL puede resolver, de manera confiable y repetible, el 95% de sus preguntas.
Un analista se vuelve casi como un súper analista. Sólo les harán las preguntas realmente retorcidas. Probablemente sea la persona que diseñó la capa semántica en primer lugar.
El precio de la precisión se ha vuelto mucho más alto. Para hacer algo manualmente, será mejor que hagas una pregunta extremadamente importante.
¿Qué significa esto para los analistas? Bueno, más o menos lo mismo que significa para los ingenieros de software. Ahora significa que la proporción de personas que realmente son útiles se ha reducido mucho, de manera meritocrática, por supuesto.
Un Analista que no pueda ser arquitecto semántico será inútil en 12 meses. Serán reemplazados por agentes de insights. Y si persisten, entonces los CTO están haciendo algo mal y probablemente deberían contratar socios de servicio para que les ayuden a implementar su capa semántica.
El listón para trabajar en Analytics acaba de subir. Hay un nuevo competidor en el bloque y su nombre es A. Gent. Al igual que la ingeniería de software: los jóvenes están fuera y los mayores están dentro.
¿Qué pasa con los costos simbólicos?
Los costos de los tokens son un punto interesante. Los costes de los tokens han disminuido en general un 95% desde los primeros modelos. El coste de la inferencia sigue cayendo y se espera que se reduzca en otro 95% en los próximos años.
A pesar de esto, empresas como Uber están apurando sus facturas de crédito. Después de todo, los créditos son divertidos. Claude es adictivo. Se recomienda el tokenmaxxing.
De hecho, el precio de los modelos fronterizos no ha caído drásticamente. Los costos de Claude en 2023 fueron de aproximadamente 32 dólares por millón de tokens de producción. Ahora sigue siendo $25.
De hecho, se espera que el uso de tokens aumente exponencialmente a medida que los sistemas se vuelvan más complicados; no está claro cuándo surgirán los beneficios, si es que surgirán. Por ejemplo, 1 millón de tokens de salida para Claude equivalen a unos 25 dólares. Digamos que ejecutar algunas consultas a través de un agente son 1000 tokens. Esto significa que el coste de una consulta es 0,025 de 2,5 céntimos.
10.000 personas haciendo uno de estos al día durante los 365 días del año cuesta 91.000 dólares. Nada mal.
Si el costo de los analistas fue, digamos, 10 analistas a 100 mil dólares cada uno, entonces nuevamente el retorno de la inversión comienza a verse bien. Parece aún mejor si los costos de inferencia se reducen, lo cual es necesario.
Tengo la sospecha de que la suposición (1000 tokens por “insight”) es demasiado baja. Sin embargo, la reducción de los costos de inferencia y las mejoras en la tecnología inevitablemente seguirán reduciéndolos.
Por ejemplo, supongamos que inicialmente a un agente le toma mucho tiempo aprender que cuando marketing dice “muéstreme los ingresos”, se trata de un conjunto de consultas diferente a cuando finanzas dice “muéstreme los ingresos”.
Una vez que esto esté codificado y hecho repetidamente, deberían ser tokens mínimos. Debería convertirse en un panel de control, una consulta persistente o incluso una habilidad del agente. No necesitamos un millón de tokens de salida cuando la gente hace las mismas preguntas todas las semanas.
Y, por supuesto, en general, la gente hace preguntas similares a medida que pasa el tiempo.
Por lo tanto, soy optimista respecto de los costes simbólicos. Si bien hay un momento inevitablemente extraño en el mercado en este momento, en el que el costo de la inferencia es probablemente demasiado alto, creo que el costo de la inferencia disminuirá. La cantidad de tokens necesarios para producir conocimientos de manera confiable y repetible también disminuirá a medida que las personas construyan sistemas más confiables y repetibles.
¿Qué proveedores de BI ganan y pierden?
Hay algunos factores en juego:
Fortaleza del agente Posicionamiento en el mercado Tamaño y patrimonio
Fuerza del agente (Agentic Analytics)
No hace falta decir que la fuerza del agente es imperativa. Actualmente hay un puñado de empresas con potentes agentes analíticos.
Lightdash Omni Hex TextQL
Todas estas empresas están teniendo éxito por diferentes razones. Lightdash tiene una estrecha integración con la capa semántica dbt. Omni tiene lo suyo, siendo ex-Looker, y entiende muy bien el espacio. Hex tiene una infraestructura de agentes y una memoria increíbles, mientras que TextQL es simplemente una de esas cosas que hay que usar para creer.
Vale la pena señalar que los almacenes de datos también tienen sus propias versiones de esto. Snowflake Cortex Intelligence y Databricks Genie son productos con una gran inversión detrás. Si son lo suficientemente buenos, los clientes los utilizarán.
Posicionamiento en el mercado
No todos los proveedores de BI están realmente en condiciones de preocuparse o preocuparse por estos factores. Por ejemplo, Tableau seguirá acumulando ingresos gracias a su sustento a través de Salesforce. Su éxito estará determinado por la rigidez de Salesforce.
Las herramientas de BI independientes y sin ventajas están en problemas aquí. Los Sisenses, los Qliks y los Lookers tienen muy pocos motivos para seguir siendo elegidos si no pueden desarrollar una mejor capa de análisis agente y no tienen un hermano mayor en la sala de juntas que los cuide.
Empresas como Sigma, que históricamente han estado muy cercanas a empresas como Snowflake, ahora compiten directamente con ellas. Por lo tanto, se encuentran en una situación complicada para ver quién puede crear el mejor analista de datos de IA.
Tamaño y patrimonio
Es posible que algunas empresas simplemente tengan demasiado tamaño y patrimonio como para ser desplazadas por completo. Por ejemplo, tanto Tableau, Sigma como Power BI tienen patrimonios enormes que no se pueden eliminar fácilmente.
Si los paneles cumplen su propósito de manera confiable, permanecerán. Recuerde: los paneles existen en Valley of Choice. Esto se debe a que hacer clic en un panel conocido y confiable aún requerirá menos esfuerzo que formular una pregunta, escribirla en una ventana de chat, esperar, pedir que se dibujen gráficos, etc.
Esto significa que las empresas que han implementado paneles probablemente los conservarán. Sin embargo, se espera que haya una fuerte presión sobre los precios a medida que el BI agente expulse los modelos de precios basados en el usuario.
Conclusión: BI se consolidará en 3 años
La conclusión lógica es una mayor consolidación.
La IA significa que crear paneles se vuelve excepcionalmente fácil.
El cambio del Valle de BI de lo asombroso a lo astuto significa que la compensación de costos entre el análisis de agentes, los paneles de control y el trabajo manual ha cambiado dramáticamente.
En la práctica, los modelos de consumo basados en el uso contrarrestan directamente los modelos heredados de fijación de precios basados en el usuario, si no en la estructura, al menos con un costo mínimo. Si bien las empresas pueden estar dispuestas a pagar una pequeña tarifa de usuario por una herramienta de BI agente como Hex, ciertamente no están dispuestas a pagar 5.000 dólares por el privilegio de crear algunos paneles de Tableau.
Lea más sobre la consolidación aquí –> El viaje final de la pila de datos moderna
Mientras tanto, las empresas competirán directamente con las empresas más grandes, mejor capitalizadas y con mayor investigación en el espacio: hiperescaladores y proveedores de almacenes de datos. No hay razón para no aprovechar herramientas como Snowflake Cortex Intelligence y Databricks Genie si son lo suficientemente buenas.
Esto significa que la industria seguirá consolidándose en torno a los agentes de BI y Analytics. El espacio se volverá cada vez más mercantilizado a menos que los proveedores independientes puedan seguir fabricando productos cada vez mejores más rápido de lo que los almacenes pueden ponerse al día.
En Orchestra, estamos construyendo la capa agente para los ingenieros. Síguenos para saber más.