En este tutorial, exploramos cómo utilizamos Daft como un motor de datos nativo de Python de alto rendimiento para crear un proceso analítico de un extremo a otro. Comenzamos cargando un conjunto de datos MNIST del mundo real y luego lo transformamos progresivamente utilizando UDF, ingeniería de características, agregaciones, uniones y ejecución diferida. Además, demostramos cómo combinar a la perfección el procesamiento de datos estructurados, la computación numérica y el aprendizaje automático. Al final, no solo estamos manipulando datos, sino que estamos construyendo una canalización completa lista para el modelo impulsada por el motor de ejecución escalable de Daft.
Instalamos Daft y sus bibliotecas de soporte directamente en Google Colab para garantizar un entorno limpio y reproducible. Configuramos ajustes opcionales y verificamos la versión instalada para confirmar que todo funciona correctamente. Al hacer esto, establecemos una base estable para construir nuestro canal de datos de un extremo a otro.
Cargamos un conjunto de datos MNIST JSON del mundo real directamente desde una URL remota utilizando el lector nativo de Daft. Inspeccionamos el esquema y obtenemos una vista previa de los datos para comprender su estructura y tipos de columnas. Nos permite validar el conjunto de datos antes de aplicar transformaciones e ingeniería de características.
para img en imágenes_28x28.to_pylist(): si img es Ninguno: out.append(None) continuar img = np.asarray(img, dtype=np.float32) row_sums = img.sum(axis=1) / 255.0 col_sums = img.sum(axis=0) / 255.0 total = img.sum() + 1e-6 ys, xs = np.indices(img.shape) cy = float((ys * img).sum() / total) / 28.0 cx = float((xs * img).sum() / total) / 28.0 vec = np.concatenate([row_sums, col_sums, np.array([cy, cx, img.mean()/255.0, img.std()/255.0]dtype=np.float32)]) out.append(vec.astype(np.float32).tolist()) return df3 = df2.with_column(“features”, featurize(col(“img_28x28”))) print(“\nColumna de características creada (lista)[float]):”) df3.select(“etiqueta”, “características”).show(2)
Remodelamos las matrices de píxeles sin procesar en imágenes estructuradas de 28 × 28 utilizando una UDF por filas. Calculamos características estadísticas, como la media y la desviación estándar, para enriquecer el conjunto de datos. Al aplicar estas transformaciones, convertimos datos de imágenes sin procesar en representaciones estructuradas y compatibles con modelos.
Implementamos una UDF por lotes para extraer vectores de características más ricos de las imágenes reformadas. Realizamos agregaciones grupales y unimos estadísticas resumidas al conjunto de datos para un enriquecimiento contextual. Esto demuestra cómo combinamos la computación escalable con análisis avanzados dentro de Daft.
Materializamos columnas seleccionadas en pandas y entrenamos un modelo de regresión logística de referencia. Evaluamos el rendimiento para validar la utilidad de nuestras funciones de ingeniería. Además, persistimos el conjunto de datos procesados en formato Parquet, completando nuestro proceso de extremo a extremo desde la ingesta de datos sin procesar hasta el almacenamiento listo para producción.
En este tutorial, creamos un flujo de trabajo de datos de estilo de producción utilizando Daft, pasando de la ingestión de JSON sin formato a la ingeniería de funciones, la agregación, el entrenamiento de modelos y la persistencia de Parquet. Demostramos cómo integrar lógica UDF avanzada, realizar operaciones de unión y agrupación eficientes y materializar resultados para el aprendizaje automático posterior, todo dentro de un marco limpio y escalable. A través de este proceso, vimos cómo Daft nos permite manejar transformaciones complejas sin dejar de ser pitónicos y eficientes. Terminamos con un proceso reutilizable de extremo a extremo que muestra cómo podemos combinar la ingeniería de datos moderna y los flujos de trabajo de aprendizaje automático en un entorno unificado.
Consulte los códigos completos aquí. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.