El rol del ingeniero de inteligencia artificial y del científico de datos aplicados ha experimentado una transformación notable. Pero ¿hacia dónde se dirige y cómo podemos prepararnos?
El rol del ingeniero de inteligencia artificial y del científico de datos aplicados ha experimentado una transformación notable en el último año. Como alguien que ha estado en el centro de todo esto, me gustaría compartir mis observaciones sobre cómo ha evolucionado y hacia dónde podría dirigirse.
En 2023, el enfoque se centró principalmente en el desarrollo de soluciones basadas en chat. La interacción típica entre humanos e IA era sencilla: pregunta y respuesta, o llamada y respuesta. Este patrón de interacción solía ser el siguiente:
- Tarea de usuario
- Respuesta del asistente
- Tarea de usuario
- Respuesta del asistente
- (etcétera)
Tanto los científicos de datos aplicados como los ingenieros de inteligencia artificial dedicaron mucho tiempo a aprender el arte caprichoso de la ingeniería rápida, la monitorización de alucinaciones y el ajuste de parámetros como la temperatura para lograr un rendimiento óptimo.
Las empresas sintieron la necesidad inmediata de adoptar la IA, ya sea por puro entusiasmo por la ventaja competitiva que podría generar o por un nivel saludable de estímulo por parte de sus ejecutivos e inversores. Pero los modelos listos para usar carecían de los matices y la comprensión de los procesos de una empresa, el conocimiento del dominio, las reglas comerciales y la documentación. La generación aumentada por recuperación (RAG) se introdujo para resolver esta brecha y proporcionar una forma de evitar que la información que el modelo de lenguaje pudiera usar como contexto se volviera obsoleta.
El rol de un científico de datos aplicado que trabaja con IA generativa pasó de centrarse en crear modelos personalizados a aprender cómo extraer el mejor rendimiento de la tecnología de vanguardia más nueva.
Cuando empezaron a surgir modelos competitivos de código abierto que podían rivalizar con GPT-3.5 de OpenAI, se abrieron las compuertas a una oleada de posibles desarrollos técnicos. De repente, había más flexibilidad y visibilidad para crear herramientas que pudieran mejorar las capacidades de los tipos de tareas que los modelos de lenguaje podían completar.
Las bibliotecas de orquestación de modelos como Semantic Kernel, Autogen y LangChain comenzaron a ganar popularidad y el rol del ingeniero de IA se expandió. Se necesitaban más habilidades de desarrollo, competencia en programación orientada a objetos y familiaridad con la forma de escalar soluciones de IA en procesos comerciales para aprovechar al máximo el uso de estas herramientas para desarrolladores.
El juego cambió realmente cuando la IA comenzó a interactuar con sistemas externos. En 2022, se presentó el sistema Modular Reasoning, Knowledge and Language (MRKL). Este sistema fue el primero en combinar modelos de lenguaje, fuentes de conocimiento externas y razonamiento discreto, lo que dio paso a más oportunidades para construir sistemas de IA que puedan tomar medidas para afectar al mundo exterior.
Pero en 2023, teníamos herramientas más formalizadas, como complementos ChatGPT, funciones semánticas y otras herramientas que los modelos de lenguaje podían llamar y utilizar. Esto abrió una nueva dimensión de posibilidades y cambió el papel del científico de datos aplicados y del ingeniero de IA para que se centrara más en el desarrollo. Esto significaba que ahora eran responsables no solo del funcionamiento interno del modelo de IA, sino también de escribir el código que permitía que el modelo interactuara con los sistemas internos y realizara acciones en el mundo real.
La inclusión de la llamada a herramientas marcó el paso de los sistemas basados en chat a los sistemas basados en acción, que rápidamente evolucionaron hasta el surgimiento de Agentic AI.
La inteligencia artificial con agentes ha proporcionado nuevas posibilidades que han ampliado las capacidades de los modelos de lenguaje, lo que a su vez ha ampliado el papel del ingeniero de inteligencia artificial. La complejidad aumentó drásticamente, pasando de extraer los mejores resultados de un modelo a un equipo de modelos que trabajan juntos. Con más opciones, se generó una mayor variabilidad en las opciones de diseño, como:
- Cómo construir equipos de agentes (cuántos agentes, de qué tareas son responsables, etc.)
- ¿Qué patrones de conversación deberían seguir?
- Cómo proporcionarles el conjunto adecuado de herramientas para que puedan completar sus tareas de manera eficaz
- Cómo dividir las tareas para que los agentes sean precisos y consistentes en sus respuestas
Por lo general, las decisiones de diseño de este calibre (cómo se diseña un sistema) ocurren por encima del nivel de ingeniero de IA o científico de datos, y las decisiones de diseño complejas son manejadas por la gerencia o incluso por la alta gerencia. Pero la cantidad de libertad creativa necesaria para crear un sistema de agentes exitoso ha provocado un cambio a la baja en la cantidad de libertades y responsabilidades de diseño para el ingeniero.
“El rol de un científico de datos aplicados o ingeniero de inteligencia artificial se está transformando en una combinación única de desarrollo y resolución creativa de problemas. El pensamiento creativo necesario para experimentar, pensar de manera crítica y diseñar un equipo de sistemas de inteligencia artificial escalable debería cambiar la forma en que las empresas consideran la contratación para sus prácticas de inteligencia artificial”.
En mi opinión, el futuro de la ingeniería de IA reside en nuestra capacidad de adaptarnos rápidamente y resolver problemas de forma creativa. Los ingenieros de IA más exitosos no serán los mejores en desarrollo, sino aquellos que puedan:
- Comprender rápidamente nuevos temas y aplicarlos.
- Resolver problemas sin una hoja de ruta predefinida
- Cambiar rápidamente a medida que surgen nuevas tecnologías
- Gestionar su tiempo de forma eficaz
Es un momento emocionante para estar en este campo en rápida evolución, pero la inversión personal que será necesaria para mantenerse en la cima no será para los débiles de corazón.