abriéndose camino en el centro de atención En los últimos años, mientras las organizaciones intentan encontrar alternativas a las arquitecturas de datos centralizadas.
He tenido un asiento de primera fila para ver a los primeros equipos de adopción a enfrentarse con este turno de paradigma. Destacaré algunas de las realidades tempranas de los adoptantes que conlleva llegar temprano a la fiesta de la malla.
En los últimos meses, he unido ideas de varias conversaciones con profesionales de la malla de datos para ver si nuestros hilos se alinean. Esta publicación destaca las principales observaciones que veo en implementaciones reales.
¿Qué es la malla de datos?
Para que estas ideas de adopción tempranas resuenen con usted, espero un nivel de conocimiento intermedio a avanzado de qué es la malla de datos y cómo difiere de los diferentes enfoques de arquitectura. Pero en aras de la integridad, daré un resumen basado en lo que creo que es clave.
Zhamak Dhegani, quien acuñó el término y escribió el primer artículo sobre él en 2019 industrió con el Limitaciones persistentes de “arquitecturas de datos monolíticas centralizadas” – particularmente lagos de datos y almacenes de datos empresariales . El primer documento técnico nació de estas frustraciones que experimentó en los clientes.
Ella vino de una sólida experiencia en ingeniería de software y creía que muchos de los problemas ya estaban bien abordados en la arquitectura de software, pero no se adoptaban en el mundo de los datos. En resumen, Zhamak creó una malla de datos para Prácticas de datos de escala de la misma manera que las organizaciones modernas escalan la entrega de software.
Desde entonces, ella y otros han escrito libros al respecto y se han creado varias compañías en torno al tema.
Me gustaría señalar que los componentes básicos de la malla de datos no son conceptos nuevos, pero lo nuevo es la combinación de estos principios fundamentales y aplicándolo al espacio “BI” históricamente denominado.
Hay una gran cantidad de material disponible en la malla de datos, pero realmente toma prestado varios principios fundamentales y lo empaqueta bajo un paraguas. Los cuatro principios principales se pueden ver aquí:
Realidades de adopción temprana
Aquí daré más detalles sobre la principal Realidades de los adoptantes tempranosde malla de datos, ya sea en proyectos en los que he estado involucrado en mis compañeros en la industria. En este punto, también me abstendré de dar soluciones, pero simplemente agregaré algunos comentarios sobre las observaciones.
Edificio mientras vuela
Ya sea que sea un equipo de dominio de adopción temprano o parte de los equipos de habilitación, durante los primeros días, Data Mesh se siente como construir un avión a mitad de vuelo. Las empresas no pueden darse el lujo de detener las operaciones, por lo que los equipos deben equilibrar demandas a corto plazo con objetivos de arquitectura a largo plazo .
En lugar de disfrutar en el entretenimiento de vuelo y una bebida de altitud de crucero relajante, se espera que sirva agua para todos, mientras que también repara el ala.
Cuando se enfrenta a una decisión tan trascendental, que requiere una inversión considerable en personas y herramientas, las organizaciones normalmente necesitarán seleccionar una de estas opciones:
(a) Compre y construya primero, luego desplegueO (b) Espere la alineación completa antes de la inversión
Ninguno de estos será seleccionado, el precio es demasiado alto para el primero y nunca habrá una alineación completa, por lo que permanezca con solo 1 opción lógica, opción secreta do) Solo vuela, a pesar de que la llanura no está completamente construida
No hay consenso claro de qué es un producto de datos
Personalmente, he pasado innumerables horas discutiendo qué es y no es un producto de datos. Y lo más probable es que también esté implementando una malla de datos.
“¿Qué es un producto de datos”, “qué tipos de productos de datos hay”, “cuándo es algo reutilizable frente a orientado al consumidor”. A menudo, los matices entran en nuestra experiencia con las arquitecturas de datos tradicionales. Por ejemplo, ¿cómo se correlaciona la malla con la arquitectura de medallón, la bóveda de datos y el modelado dimensional? ¿Puede un producto de datos ser datos sin procesar, un almacén o un mart? ¿O es todo lo anterior, solo con límites de dominio dibujados a su alrededor? ¿Qué pasa si el conjunto de datos se utiliza dominios cruzados? ¿Deberíamos crear un producto de datos por fuente que obtenga dominios cruzados utilizados?
Asistía a una conferencia de diseño y malla de datos de dominio conjunta y diferentes oradores también tenían diferentes versiones sobre el asunto. Así que seamos sinceros, no podemos estar exactamente de acuerdo en ello.
Asegurar el liderazgo empresarial.
La malla de datos no puede permanecer (pero a menudo lo hace) una iniciativa de TI para TI. La transición a la malla de datos no es solo un cambio técnico, es un cambio cultural. Sin soporte de alta gerencia preferiblemente negocios, es probable que la iniciativa enfrente resistencia. Una fuerte alineación con la estrategia corporativa es esencial para impulsar obstáculos inevitables. No debe verse como una estrategia de TI.
Habrá varios escenarios en los que se encuentre en el sentido de que necesitará soltar la frase “pero es la dirección estratégica de la organización” o algo en esa medida. Ya sea presupuesto, obstáculos políticos o sociales.
Dolores de crecimiento para los primeros usuarios
Los primeros equipos en adoptar la malla de datos enfrentarán puntos débiles significativos. Estos pueden ser dolores de crecimiento típicos con cualquier gran programa de transformación, ya sea desafíos de integración, errores de plataforma o malla de datos específicas, como descubrir qué es un producto de datos como se menciona en las otras realidades observadas.
Hacer la adopción lo más suave posiblePara estos pioneros aumentará la probabilidad de éxito a largo plazo. Esto probablemente conducirá a que se otorgan varias exenciones a los primeros equipos de adoptantes, de lo contrario volverían a su maravilloso estado de sombra.
Las brechas del proceso existentes se expondrán
Si bien la intención de la malla de datos es garantizar la escalabilidad y la eficiencia en el futuro, probablemente identificará primero las brechas existentes en Procesos de datos, seguridad y cumplimiento. A menudo, los primeros usuarios tienen la tarea de solucionar estos problemas, a veces incluso enfrentando culpar a los defectos preexistentes .
Los equipos de habilitación deben desnudar la carga y recordar el objetivo final.
Greenfields es casi imposible
Por su naturaleza, la malla de datos es adecuada para entornos grandes y complejos donde múltiples equipos necesitan colaborar. Sin embargo, Políticas de TI y marcos de gobernanza existentesPuede que no siempre apoye la descentralización. Lo más probable es que los equipos no puedan comenzar los campos verdes adaptados a un proceso que sea adecuado para su propósito, estarán vinculados a la cadera por reglas y procesos a veces anticuados y arcaicos.
Como ejemplo, con aproximadamente el 80% de los proyectos en los que me sumergí, la ingestión todavía se administró de un equipo central, y no era propiedad de los equipos de dominio, al menos al principio. Esto se debe a múltiples razones enumeradas aquí, pero no se limita a
- Las habilidades técnicas se encuentran en él, no en los dominios comerciales
- Más fácil de justificar un equipo dedicado más pequeño que se conecta a varias fuentes y las haga disponibles. (Legal es más feliz)
- Todavía hay muchos beneficios en la estandarización de la forma en que se extraen los datos, especialmente en torno a la gestión de proveedores y la histórica de las fuentes.
No hay una manera fácil de definir dominios y propiedad.
La definición de dominios y la propiedad en una malla de datos no es tan simple como dibujar líneas en un gráfico de orgg. Requiere navegar por las responsabilidades superpuestas, las capacidades comerciales en evolución y los sistemas heredados que no asignan perfectamente a los equipos actuales. No existe un modelo único para todos: lo que funciona en una organización puede desentrañarse en otra.
Dicho esto, mapearlo estrechamente con el gráfico de la organización es, con mucho, la solución más fácil y resuelve el problema de propiedad y aún parece ser una aplicación común para esta pregunta.
Pensamientos finales
Al igual que con cualquier gran transformación oganisacional, la fase de adopción temprana puede hacer o romper el viaje. La realidad es que, por ahora, parece que la malla de datos no es diferente. Es un acto de equilibrio de volar el avión mientras dibuja el plan, persuade el liderazgo, el destino vale la pena y navegando por las realidades desordenadas de propiedad y brechas de procesos en el camino.
[1] Dehghani, Z. (2019) Cómo ir más allá de un lago de datos monolíticos a una malla de datos distribuidos, martinfowler.com. Disponible en: https://martinfowler.com/articles/data-monolith-to-mesh.html (Consultado: 13 de agosto de 2025).