Esquemas y contratos de marcos de datos componibles En este tutorial, demostramos cómo crear canales de validación de datos robustos y de nivel de producción utilizando Pandera con modelos de marcos de datos tipificados. Comenzamos simulando datos transaccionales realistas e imperfectos y aplicamos progresivamente estrictas restricciones de esquema, reglas a nivel de columna y lógica empresarial entre columnas mediante comprobaciones declarativas. Mostramos cómo la validación diferida nos ayuda a detectar múltiples problemas de calidad de los datos a la vez, cómo los registros no válidos se pueden poner en cuarentena sin romper las canalizaciones y cómo la aplicación del esquema se puede aplicar directamente en los límites de las funciones para garantizar la corrección a medida que los datos fluyen a través de las transformaciones. Consulta los CÓDIGOS COMPLETOS aquí.
Configuramos el entorno de ejecución instalando Pandera y sus dependencias e importando todas las bibliotecas necesarias. Confirmamos las versiones de la biblioteca para garantizar la reproducibilidad y la compatibilidad. Establece una base limpia para hacer cumplir la validación de datos escritos a lo largo del tutorial. Consulta los CÓDIGOS COMPLETOS aquí.
[“[email protected]”, “[email protected]”, “correo_electrónico incorrecto”, Ninguno]tamaño=n, p=[0.45, 0.45, 0.07, 0.03]), “país”: rng.choice(países, tamaño=n, p=[0.5, 0.45, 0.05]), “canal”: rng.choice(canales, tamaño=n, p=[0.55, 0.35, 0.10]), “artículos”: rng.integers(0, 8, tamaño=n), “precio unitario”: rng.normal(loc=35, escala=20, tamaño=n), “descuento”: rng.choice([0.0, 0.05, 0.10, 0.20, 0.50]talla=n,p=[0.55, 0.15, 0.15, 0.12, 0.03]), “ordered_at”: pd.to_datetime(“2025-01-01″) + pd.to_timedelta(rng.integers(0, 120, tamaño=n), unidad=”D”), } ) raw.loc[rng.choice(n, size=8, replace=False), “unit_price”] = -abs(crudo[“unit_price”].iloc[0]) crudo.loc[rng.choice(n, size=6, replace=False), “items”] = 0 crudo.loc[rng.choice(n, size=5, replace=False), “discount”] = 0,9 bruto.loc[rng.choice(n, size=4, replace=False), “country”] = “ZZ” crudo.loc[rng.choice(n, size=3, replace=False), “channel”] = “desconocido” raw.loc[rng.choice(n, size=6, replace=False), “unit_price”] = crudo[“unit_price”].iloc[:6].round(2).astype(str).values devuelve raw_orders = make_raw_orders(250) display(raw_orders.head(10))
Generamos un conjunto de datos transaccionales realista que incluye intencionalmente problemas comunes de calidad de los datos. Simulamos valores no válidos, tipos inconsistentes y categorías inesperadas para reflejar escenarios de ingesta del mundo real. Nos permite probar y demostrar de manera significativa la efectividad de la validación basada en esquemas. Consulta los CÓDIGOS COMPLETOS aquí.
configuración de clase: coerce = Verdadero estricto = Verdadero ordenado = Falso @pa.check(“email”) def email_valid(cls, s: pd.Series) -> pd.Series: return s.isna() | s.astype(str).str.match(EMAIL_RE) @pa.dataframe_check def total_value_reasonable(cls, df: pd.DataFrame) -> pd.Series: total = df[“items”] * df[“unit_price”] * (1,0 – gl[“discount”]) devuelve total.between(0.01, 5000.0) @pa.dataframe_check def channel_country_rule(cls, df: pd.DataFrame) -> pd.Series: ok = ~((df[“channel”] == “socio”) & (df[“country”] == “MX”)) regresar ok
Definimos un estricto Pandera DataFrameModel que captura restricciones estructurales y de nivel empresarial. Aplicamos reglas a nivel de columna, validación basada en expresiones regulares y comprobaciones de todo el marco de datos para codificar de forma declarativa la lógica del dominio. Consulta los CÓDIGOS COMPLETOS aquí.
Validamos el conjunto de datos sin procesar mediante una evaluación diferida para revelar múltiples infracciones en una sola pasada. Inspeccionamos casos de fallas estructuradas para comprender exactamente dónde y por qué los datos infringen las reglas del esquema. Nos ayuda a depurar problemas de calidad de los datos sin interrumpir todo el proceso. Consulta los CÓDIGOS COMPLETOS aquí.
Separamos los registros válidos de los no válidos poniendo en cuarentena las filas que no superan las comprobaciones de esquema. Luego aplicamos garantías de esquema en los límites de las funciones para garantizar que solo se transformen datos confiables. Este patrón permite el enriquecimiento seguro de los datos y al mismo tiempo previene la corrupción silenciosa. Consulta los CÓDIGOS COMPLETOS aquí.
Ampliamos el esquema base con una columna derivada y validamos la coherencia entre columnas mediante esquemas que se pueden componer. Verificamos que los valores calculados obedecen a invariantes numéricos estrictos después de la transformación. Demuestra cómo Pandera respalda la ingeniería de funciones seguras con garantías exigibles.
En conclusión, establecimos un enfoque disciplinado para la validación de datos que trata los esquemas como contratos de primera clase en lugar de salvaguardas opcionales. Demostramos cómo la composición de esquemas nos permite ampliar de forma segura conjuntos de datos con características derivadas preservando al mismo tiempo las invariantes, y cómo Pandera se integra perfectamente en flujos de trabajo reales de ingeniería de datos y análisis. A través de este tutorial, nos aseguramos de que cada transformación opere con datos confiables, lo que nos permite crear canalizaciones que son transparentes, depurables y resistentes en entornos del mundo real.
Consulta los CÓDIGOS COMPLETOS aquí. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.