Las soluciones ágiles y nativas de la nube tienen una gran demanda en los campos de rápida evolución de la orquestación de flujos de trabajo y la ingeniería de datos. Control-M y otros programadores empresariales heredados han servido durante mucho tiempo como columna vertebral de las operaciones de muchas organizaciones. Sin embargo, Apache Airflow se ha convertido en la opción preferida para la gestión de flujos de trabajo de datos contemporáneos a medida que el mercado avanza hacia sistemas más adaptables y escalables. Sin embargo, cambiar de Control-M a Apache Airflow puede ser difícil y llevar mucho tiempo.
En muchas industrias diferentes, Control-M ha demostrado ser una solución confiable y sólida para gestionar procesos y flujos de trabajo por lotes. Sin embargo, su naturaleza propietaria y sus limitaciones pueden dificultar que las empresas adopten métodos de desarrollo más ágiles y diseños nativos de la nube. Con sus sólidas funciones de orquestación, el gran apoyo de la comunidad y la arquitectura de código abierto, Apache Airflow presenta un sustituto sólido. Sin embargo, cambiar de Control-M, un sistema con una base sólida, a Airflow no es una tarea fácil. Convertir descripciones de trabajo complejas, dependencias y cronogramas es parte del proceso, que con frecuencia requiere mucho trabajo manual y habilidad.
En una investigación reciente, un equipo de investigadores de Google presentó DAGify, un programa de código abierto que simplifica y acelera esta transición de Control-M a Airflow. DAGify ofrece una solución de conversión automatizada para ayudar a superar esta dificultad. Ayuda a las empresas a convertir sus definiciones de tareas actuales de Control-M en gráficos acíclicos dirigidos (DAG) en Airflow, lo que minimiza la posibilidad de errores durante la migración y reduce el trabajo manual necesario.
Los equipos pueden concentrarse en optimizar sus flujos de trabajo en Airflow en lugar de empantanarse en las dificultades de la conversión manual cuando usan DAGify para facilitar el proceso de migración. Básicamente, DAGify utiliza un método basado en plantillas para facilitar la conversión de archivos XML de Control-M al formato DAG nativo de Airflow. Esta técnica hace que DAGify sea extremadamente flexible en diferentes configuraciones de Control-M y requisitos de Airflow. El programa extrae datos vitales sobre trabajos, dependencias y programaciones mediante el análisis de archivos XML de Control-M. Después de eso, los datos se asignan a las tareas, dependencias y operadores en Airflow, manteniendo el marco fundamental del flujo de trabajo inicial.
DAGify es altamente configurable gracias a su sistema de plantillas, que permite a los usuarios especificar cómo se deben convertir las propiedades de Control-M en parámetros de Airflow. Por ejemplo, un SSHOperator de Airflow puede tener una tarea de “comando” de Control-M asignada a él mediante una plantilla YAML definida por el usuario. Para garantizar una transición fluida de Control-M a Airflow, esta plantilla describe cómo se incluyen atributos como JOBNAME y CMDLINE en el DAG creado.
DAGify incluye una serie de plantillas predefinidas para los tipos de trabajos típicos de Control-M. Los usuarios pueden modificar estas plantillas para adaptarlas a sus propios requisitos. Gracias a su adaptabilidad, la herramienta puede admitir una gran variedad de configuraciones de Control-M, lo que garantiza un proceso de migración sin inconvenientes.
Google Cloud Composer es una opción atractiva para las empresas que utilizan una solución Airflow totalmente administrada. Al simplificar la administración de la infraestructura de Airflow, Cloud Composer libera a los equipos para que se concentren en crear y coordinar sus canales de datos. La migración de flujos de trabajo de Control-M a un entorno nativo de la nube ahora es más sencilla que nunca gracias a la integración perfecta de DAGify con Google Cloud Composer. A través de esta integración, el proceso de migración puede volverse aún más eficiente y escalable, lo que permite a las organizaciones aprovechar los beneficios de Airflow en la nube más rápidamente.
En conclusión, DAGify es un gran paso adelante para facilitar la transición de Control-M a Apache Airflow. Las organizaciones pueden migrar a Airflow con mayor rapidez y confianza mediante el proceso de conversión automatizado de DAGify y la fácil integración con Google Cloud Composer. DAGify es una herramienta invaluable que puede ayudar a acelerar la transición y aprovechar todo el potencial de Apache Airflow en las operaciones de ingeniería de datos, independientemente del nivel de experiencia del usuario con la plataforma.
Revisar la GitHub y DetallesTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Más de 47 000 suscriptores de ML en Reddit
Encuentra lo próximo Seminarios web sobre IA aquí
Tanya Malhotra es una estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, que cursa BTech en Ingeniería Informática con una especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la ciencia de datos con un buen pensamiento analítico y crítico, junto con un gran interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.
