¿Con qué frecuencia estás escribiendo una canalización de datos y luego deseas poder hacer algo? ¿contingentemente? Algo que solo ¿Qué sucede si se cumplen un conjunto de condiciones?
¡Ojalá que no tan a menudo! Flujo de aire ha admitido este tipo de funcionalidad a través del operador AirflowBranchPython. Muchas otras herramientas de orquestación de flujo de trabajo han seguido su ejemplo. Prefect tiene Flujos condicionalesDagster tiene Salida dinámicay en Orquesta Facilitamos la ramificación en función del estado.
Esto nos lleva a la pregunta más importante: ¿Por qué?
¿Por qué molestarse en ramificar, haciendo que su flujo de trabajo sea más complicado de lo necesario? Veremos que existen algunos casos de uso realmente increíbles, especialmente para personas que buscan una mayor cantidad de automatización en sus vidas.
Antes de sumergirnos en los casos de uso, utilizaremos el siguiente código como referencia para que podamos entender cómo funciona la ramificación en la práctica.
from airflow import DAG
from airflow.operators.dummy import DummyOperator
from…