(o 2010 para ser más precisos) El auge de los grandes datos trajo la aparición de especialización en los roles de datos. Lo que solía describirse únicamente como “ingeniero de inteligencia empresarial” se dividió aún más en los ingenieros/analistas de inteligencia empresarial, ingenieros/analistas de datos, científicos de datos, etc. ¿La razón de esto? La abundancia de datos y las responsabilidades multidisciplinarias que vienen con él, que no podrían ser domesticadas por una descripción genérica del trabajo. Por lo tanto, era necesario dividirlo en piezas más pequeñas debido a la variedad de tareas diarias. Sin embargo, abordando el final de 2025, ¿estamos volviendo a los roles de datos más generalizados?
El surgimiento del generalista de datos
Vamos a tomarlo desde el principio. ¿Qué quiero decir con generalistas de datos? Si google en Google “Definición generalista”, le brinda la siguiente definición:
“Una persona competente en varios campos o actividades diferentes”
Tome la definición anterior y aplíquela al sector de datos. Cuanta más experiencia obtengo en el campo de datos, mayor es la medida en que veo un aumento en la demanda de generalistas de datos.
Hoy en día, no solo se espera que un ingeniero de datos sepa cómo implementar tuberías de datos para transferir datos del punto A al punto B. Espere que sepan cómo girar los recursos en la nube, implementar tuberías de CI/CD y mejores prácticas, y también desarrollar modelos AI/ML. Eso significa que Cloud, DevOps y Machine Learning Engineering son parte de la pila tecnológica del ingeniero de datos moderno ahora.
Del mismo modo, un científico de datos no solo desarrolla modelos en un cuaderno que nunca terminará en algún lugar de la producción. Tienen que saber cómo trabajar en producción y servir a los modelos AI/ML posiblemente usando contenedores o API. Esa es una superposición de ciencia de datos, ingeniería de aprendizaje automático y nube nuevamente.
Entonces, ¿ves a dónde va esto? ¿Cuáles podrían ser las razones por las que estos roles hoy se mezclan y se superponen entre sí? ¿Por qué los roles de datos son más exigentes ahora y la pila de tecnología requerida incluye múltiples disciplinas? ¿Es esta la era donde el generalista de datos está en aumento?
Mi opinión personal sobre por qué los generalistas de datos ahora están floreciendo se debe a las 3 razones principales:
- Aparición de servicios en la nube
- Explosión de empresas de inicio
- Evolución de herramientas de inteligencia artificial
Evalicemos.
Aparición de servicios en la nube
Los servicios en la nube han recorrido un largo camino desde 2010, llevando todo a una sola plataforma. AWS, Google y Azure están haciendo que sea mucho más fácil y accesible ahora que los profesionales tengan acceso a recursos y servicios que pueden usarse para implementar aplicaciones. Esto significa que algunos de los roles sobre especificados, que operaban estas funciones, ahora están descargados para los proveedores de la nube y los profesionales de datos se adhieren al lado de los datos de las cosas.
Por ejemplo, si utiliza un almacén de datos de plataforma como servicio (PAAS), no necesita preocuparse por la máquina virtual en la que se ejecuta, el sistema operativo, las actualizaciones, etc. Un ingeniero de datos puede hacerse cargo de las tareas de administrador de bases de datos o ingeniero de sistemas sin demasiada carga en sus tareas diarias. En lugar de que 2-3 personas mantengan el almacén de datos, 1 es suficiente. Eso también significa que el ingeniero de datos debe comprender la administración de infraestructura y base de datos además de las tareas habituales de ingeniería de datos.
La forma en que la industria está evolucionando, con más productos de software como servicio (SaaS) que se están desarrollando (como Databricks, Snowflake y Fabric), creo que esta tendencia será la nueva norma. Estos productos ahora facilitan que un profesional de datos maneje toda la tubería de datos de extremo a extremo desde una sola plataforma. Por supuesto, esto viene con un precio.
Explosión de empresas de inicio
Las nuevas empresas son fuerzas impulsoras cada vez más críticas y económicas para cada país. Existe un número sorprendente de más de 150 millones de nuevas empresas en todo el mundo, como se informa en este estudiar, con aproximadamente 50 millones de nuevos negocios lanzados cada año. De estos, hay más de 1,200 nuevas empresas de unicornio en todo el mundo. Basado en estas cifras, nadie puede discutir con nosotros que vivimos en una era de dominio de inicio.
Digamos que tienes una idea de que quieres convertirte en una empresa de inicio, ¿con qué tipo de personas estás buscando rodear? ¿Está buscando personas con una experiencia de nicho en datos o personas con un conocimiento más genérico que sepan cómo navegar en torno a toda la cartera de datos de extremo a extremo? Creo que es el último.
La experiencia profunda es buena para las empresas multinacionales donde puede trabajar en cosas muy específicas todos los días, pero ser un generalista de datos es su pasaporte para las nuevas empresas. Al menos, eso es lo que noté de mi experiencia.
Herramientas de inteligencia artificiales
Noviembre de 2022 – Un mes en los libros de historia para el mundo de la tecnología donde todo cambió. El lanzamiento de ChatGpt. Chatgpt trajo la revolución en el mundo de la IA. A partir de ese día, cada día es diferente en el sector tecnológico. El impacto en la industria? Enorme. Las herramientas de IA se liberan todos los días, cada una con sus propias fortalezas y debilidades.
Atrás quedaron los días en que para escribir un código o para obtener algún conocimiento que tenía que ir al desbordamiento de pila y leer si alguien tuvo un problema similar con usted en el pasado y lo ha resuelto. Esta era la forma en que las cosas solían ser para comenzar a desarrollar una solución. Ahora, cada profesional de datos escribe código con un amigo de IA todo el día. La IA puede responder preguntas, hacerle trabajar de manera más eficiente, pero también obtener una ventaja relativamente fácil de las cosas que nunca antes había hecho. Por supuesto, todavía comete errores, pero si lo solicita correctamente y hace las preguntas correctas, obtendrá ayuda increíble.
¿Cómo se relaciona esto con los generalistas de datos? Hoy en día, si conoce las preguntas correctas para ChatGpt o Gemini o Copilot (o cualquier otra IA que exista) puede hacer las cosas increíblemente rápidas. Entonces, si un ingeniero de datos quiere obtener una descripción general rápida de cómo desarrollar un modelo de regresión lineal, AI puede ayudar. Si un científico de datos quiere ayuda para crear un recurso en la nube, AI puede ayudar.
Así es como se está desarrollando esta industria y hacia dónde se dirigen las cosas. Esta es también la razón por la que creo que si eres un buen generalista de datos en estos días y sabes cómo hacer las preguntas correctas, puedes lograr cualquier cosa. La experiencia vendrá más tarde, dependiendo de la repetición de una tarea y los errores que encuentre en el camino.
Conclusión
Estamos viviendo en una época en la que el paisaje de datos evoluciona a un ritmo increíble. Cada día trae nuevos desafíos y nuevas herramientas para aprender. Sin embargo, creo que centrarse en la imagen más grande y el desarrollo como generalista de datos será la clave para el éxito a largo plazo.
Al clavar los fundamentos y comprender la arquitectura de toda la cartera de datos de extremo a extremo, se posiciona como alguien que seguirá siendo altamente exigido en el futuro. En muchos sentidos, la industria parece estar cambiando para valorar los generalistas de datos versátiles sobre roles estrechamente especializados.
Por supuesto, esta es solo mi opinión, pero me encantaría escuchar la tuya.