En esta historia, me gustaría plantear una discusión sobre cómo transformamos los datos. Ya sea una base de datos, un almacén de datos o una solución de generación de informes, ejecutamos transformaciones de datos basadas en modelos de datos, pero ¿cómo las organizamos? Me gustaría hablar sobre las herramientas modernas de transformación de datos que utiliza. Tocaremos algunos matices del enfoque modular, la programación y las pruebas de transformación de datos. Al final de este artículo, proporcionaré una aplicación de ejemplo para ejecutar tareas de modelado de datos con linaje de datos y funciones de autodocumentación. Tengo muchas ganas de saber qué piensas al respecto.
Fui testigo de docenas de formas diferentes de ejecutar transformaciones de datos. A lo largo de mis más de quince años de carrera en big data y análisis, construí canales de datos con diferentes patrones de diseño y estoy seguro de que hay más. Por eso me gusta tanto el mundo de la tecnología. La multitud de posibilidades que ofrece es sencillamente asombrosa.
¿Qué sistema operativo utiliza para su almacén de datos?
Herramientas modernas de transformación de datos
Las herramientas modernas de transformación de datos, también conocidas como herramientas de modelado de datos o sistemas operativos de almacén de datos (DWH), se diseñaron para simplificar las tareas de manipulación de datos SQL para crear conjuntos de datos, vistas y tablas. A menudo utilizan un dialecto similar a SQL para ejecutar posibles definiciones de datos (DDL) y manipulaciones (DML) que podamos necesitar, incluidas pruebas de transformación de datos y creación de conjuntos de datos personalizados en modo de desarrollo.
La abundancia de soluciones de almacenamiento de datos ANSI-SQL en el mercado hace que estas herramientas sean extremadamente útiles. Por ejemplo, considere esta lista de adaptadores dbt a continuación. Allí están presentes todos los líderes del mercado.
dbt significa herramienta de creación de bases de datos y es esencialmente una aplicación de programación que se puede ejecutar localmente o en el servidor para ejecutar tareas de transformación de datos. Por ejemplo, considere este modelo simple a continuación. Crea una vista en nuestra base de datos y podemos materializarla, digamos cada 5 minutos, para preservar los datos para el análisis. En la parte superior del archivo tenemos…