INGENIERÍA DE DATOS
Cuando pensamos en ingeniería de datos, las primeras habilidades de programación que normalmente nos vienen a la mente son SQL y quizás Python. SQL es este conocido lenguaje para consultar datos, profundamente arraigado en el mundo de los datos y las canalizaciones. Python, por otro lado, se ha vuelto bastante poderoso en la ciencia de datos y ahora está dejando su huella en el campo en evolución de la ingeniería de datos. Pero, ¿es cierta esta creencia común? ¿Son SQL y Python realmente las habilidades de programación más importantes para los ingenieros de datos? En este artículo, compartiré mis experiencias sobre este tema, con el objetivo de ayudar a los jóvenes profesionales a descubrir las mejores habilidades para aprovechar al máximo su tiempo y energía.
En la ingeniería de datos actual, manejamos una enorme cantidad de datos. La tarea principal es descubrir cómo recopilar, cambiar y almacenar esta enorme carga de datos cada día, hora o incluso en tiempo real. Lo que lo hace más complicado es asegurarse de que diferentes servicios de datos puedan ejecutarse sin problemas en varios sistemas sin preocuparse por lo que sucede debajo.
En los últimos 15 años, personas inteligentes han ideado marcos informáticos distribuidos para hacer frente a esta sobrecarga de datos. Hadoop y Spark son dos grandes nombres en este juego. Debido a que ambos marcos se crean principalmente utilizando lenguajes JVM (Java Virtual Machine) (Hadoop usa Java y Spark usa Scala), muchos expertos en datos y software creen que Java y Scala son el camino a seguir en la ingeniería de datos.
Además, la capacidad de las aplicaciones JVM de ser portátiles las convierte en una excelente opción para aplicaciones de datos que operan en diversos sistemas y entornos. Puede desarrollar canalizaciones de datos que se ejecuten sin problemas en varias configuraciones locales y en la nube, lo que le permitirá ampliar o reducir sus sistemas sin preocuparse por la infraestructura subyacente.
Ahora que hemos explorado los beneficios de Java y Scala, o más ampliamente, las aplicaciones de datos basadas en JVM, en el manejo de big data, la siguiente pregunta lógica es: ¿qué…