¿Aprendizaje automático en producción? Lo que esto realmente significa

ya sea gerente, científico de datos, ingeniero o propietario de un producto, es casi seguro que haya estado en al menos una reunión donde la discusión giró en torno a “poner un modelo en producción”.

Pero en serio, ¿qué significa producción?

Como sabrás, soy ingeniero de inteligencia artificial. Comencé mi primer trabajo en ciencia de datos en 2015, en una gran empresa francesa del sector energético. En ese momento, estuvimos entre los primeros actores en crear aplicaciones de IA para la gestión y producción de energía (nuclear, hidráulica y renovable). Y si hay un ámbito en el que la producción de IA está fuertemente regulada, es el de la energía, especialmente la nuclear. Esto está estrechamente relacionado con la naturaleza de los datos y el hecho de que no se pueden insertar fácilmente modelos de aprendizaje automático en un entorno existente.

Gracias a esta experiencia, aprendí muy temprano que crear un modelo en un cuaderno es solo la punta del iceberg. También comencé a hablar muy rápidamente de producción, sin saber muy bien lo que significaba. Por estas razones, quiero compartir con ustedes la visión más clara que he desarrollado a lo largo de los años cuando se trata de llevar proyectos de aprendizaje automático a producción.

Pero hagamos una pausa por un momento y pensemos en nuestra pregunta principal.

¿Qué significa realmente producción?

A veces, lo que hay detrás de esta palabra de moda, “producción”, puede ser difícil de leer y comprender. Hay innumerables videos y artículos en YouTube al respecto, pero muy pocos se traducen en algo que realmente puedas aplicar en proyectos reales.

Si intenta responderla, es probable que nuestros puntos de vista converjan al final de este artículo, incluso si los métodos que utilizamos para llegar a la producción pueden diferir de un contexto a otro.

La definición principal

En el contexto del aprendizaje automático, producción significa que los resultados de su modelo afectan directamente a un usuario o producto.

Ese impacto puede adoptar muchas formas, como educar a alguien, ayudarlo a tomar una decisión o permitirle algo que antes no podía hacer; también puede significar agregar una función al sistema de recomendación de una aplicación de compras.

Cualquier programa que contenga un algoritmo de aprendizaje automático utilizado por un usuario final u otro producto o aplicación puede considerarse un modelo en producción.

Más allá de tener impacto, la producción también conlleva un nivel de responsabilidad. Lo que quiero decir es que si nadie o ningún sistema es responsable de corregir el modelo cuando es incorrecto, entonces su modelo puede implementarse, pero no en producción.

Existe una idea común de que el 87% de los proyectos de ML no llegan a la etapa final de producción. No sé si eso es estrictamente cierto, pero mi interpretación es simple: muchos modelos de ML nunca llegan al punto en el que realmente tienen un impacto en un usuario o producto. E incluso cuando lo hacen, a menudo no existe ningún sistema que los haga confiables en el tiempo, por lo que simplemente están implementados y son accesibles.

Entonces, si estamos de acuerdo en que producción significa tener un proyecto de aprendizaje automático que tenga impacto y sea responsable, ¿cómo llegamos a eso?

Las muchas caras de la producción

Para responder a eso, debemos aceptar que la producción tiene muchas caras. El modelo es sólo un componente dentro de un proceso ETL más grande.

Este punto es crucial.

A menudo imaginamos un modelo como una caja negra, entran datos, ocurre magia matemática y surge una predicción. En realidad, eso es una gran simplificación excesiva. En producción, los modelos suelen ser parte de un flujo de datos más amplio, a menudo más cercano a una transformación de datos que a un motor de decisiones aislado.

Además, no toda la “producción” tiene el mismo aspecto dependiendo de qué tan contundente sea el modelo en el sistema final.

A veces, el modelo respalda una decisión, como una puntuación, una recomendación, una alerta o un panel.

A veces toma una decisión, como acciones automáticas, bloqueo en tiempo real o activación de flujos de trabajo.

La diferencia importa mucho. Cuando su sistema actúa automáticamente, el costo de un error no es el mismo y los requisitos de ingeniería generalmente aumentan muy rápidamente.

Según mi experiencia, la mayoría de los sistemas de producción se pueden dividir en:

→ El sistema de almacenamiento de datos en producción, esto significa que todos los datos se almacenan en sistemas de archivos o bases de datos que están alojados de forma segura en entornos de producción (nube o on-premise).

→ La producción de la parte de adquisición de datos, esto significa tener un sistema o flujo de trabajo que se conecta a las bases de datos de producción y recupera los datos que se utilizarán como entrada para el modelo. Estos flujos de trabajo pueden contener los pasos de preparación de datos.

→ Llevar el componente de aprendizaje automático a producción, esta es la parte que nos interesa. Significa que el modelo ya está entrenado y necesitamos un sistema que le permita ejecutarse en el mismo entorno que los demás componentes.

Estas tres partes nos muestran claramente que el ML en producción no se trata del modelo de aprendizaje automático en sí, sino de todo lo que lo rodea.

Pero centrémonos sólo en el componente 3, “llevar el ML a producción”, porque los otros pasos a menudo los manejan diferentes equipos de una empresa.

El desglose de 4 pasos

Si tuviera un científico de datos junior al que necesitara explicarle cómo trabajar en este componente, lo separaría de la siguiente manera:

Paso 1: la función

Comienzas con un modelo entrenado. Lo primero que necesita es una función, algún código que cargue el modelo, reciba datos de entrada, realice la predicción y devuelva una salida.

En esta etapa, todo funciona localmente. Es emocionante la primera vez que ves aparecer predicciones, pero no queremos detenernos ahí.

Un detalle práctico que importa desde el principio, no piense sólo “¿predice?”, piense también “¿falla limpiamente?” En producción, su función eventualmente recibirá entradas extrañas, valores faltantes, categorías inesperadas, archivos corruptos o señales fuera de rango. Tu yo futuro te agradecerá la validación básica y los mensajes de error claros.

Paso 2: la interfaz

Para que otros puedan utilizar esta función (sin pedirles que ejecuten su código), necesita una interfaz, generalmente una API.

Una vez implementada, esta API recibe solicitudes estandarizadas que contienen datos de entrada, las pasa a su función de predicción y devuelve el resultado. Esto es lo que permite que otros sistemas, aplicaciones o usuarios interactúen con su modelo.

Y aquí hay una realidad de producción, la interfaz no es sólo una cuestión técnica, es un contrato. Si otro sistema espera/predice y usted expone algo más, la fricción está garantizada. Lo mismo se aplica si cambia el esquema cada dos semanas. Cuando los equipos dicen “el modelo está en producción”, muchas veces lo que realmente quieren decir es “creamos un contrato del que dependen otras personas”.

Paso 3: el medio ambiente

Ahora necesitamos portabilidad. Eso significa empaquetar el entorno, el código, la API y todas las dependencias para que el sistema pueda ejecutarse en otro lugar sin modificaciones.

Si ha seguido los pasos hasta ahora, ha creado un modelo, lo ha incluido en una función y lo ha expuesto a través de una API. Pero nada de eso importa si todo permanece encerrado en su entorno local.

Aquí es donde las cosas se vuelven más profesionales: reproducibilidad, control de versiones y trazabilidad. No necesariamente sofisticado, sólo lo suficiente para que si implementas la versión 1.2 hoy, puedas explicar en tres meses qué cambió y por qué.

Paso 4: la infraestructura

El último paso es alojar todo en algún lugar donde los usuarios o las aplicaciones puedan acceder a él.

En la práctica, esto suele significar la nube, pero también pueden ser servidores internos de la empresa o infraestructura perimetral. El punto clave es que lo que haya creado debe ser accesible, estable y utilizable donde sea necesario.

Y aquí es donde muchos equipos aprenden una dura lección. En producción, el “mejor modelo” a menudo no es el que tiene la mejor métrica en un cuaderno. Es el que se ajusta a las limitaciones reales, latencia, costo, seguridad, regulación, monitoreo, mantenibilidad y, a veces, simplemente, “¿podemos operar esto con el equipo que tenemos?”

Paso 5: El Monitoreo

Puedes tener la API más limpia y la mejor infraestructura, y aún así fallar en producción porque no ves los problemas temprano.

Un modelo en producción que no es monitoreado básicamente ya está roto, sólo que aún no lo sabes.

El seguimiento no tiene por qué ser complicado. Como mínimo, quieres saber:

¿El servicio está activo y la latencia es tolerable? ¿Las entradas siguen pareciendo “normales”? ¿La salida de datos está a la deriva? ¿El impacto empresarial todavía tiene sentido?

En muchos proyectos del mundo real, el rendimiento no colapsa con una gran caída. Se descompone silenciosamente.

Tener todos estos componentes en su lugar es lo que convierte un modelo en algo útil e impactante. Basándonos en la experiencia, a continuación se ofrecen algunas pautas prácticas.

Para el Paso 1 (La Función), utilice las herramientas que conoce (scikit-learn, PyTorch, TensorFlow), pero piense pronto en la portabilidad. Formatos como ONNX pueden facilitar mucho la automatización futura. Si desarrolla sus propios paquetes, debe estar seguro, ya sea un administrador o un científico de datos, de que las habilidades necesarias en ingeniería de software o ingeniería de datos están presentes, porque construir bibliotecas internas es una historia muy diferente a usar herramientas disponibles en el mercado.

Para el Paso 2 (La Interfaz), marcos como FastAPI funcionan muy bien, pero siempre piense en el consumidor. Si otro sistema espera/predice y usted expone algo más, la fricción está garantizada. Debe estar alineado con sus partes interesadas; todos los puntos técnicos sobre hacia dónde va el resultado del aprendizaje automático deben estar muy claros.

Para el Paso 3 (El entorno), aquí es donde entra en juego Docker. No es necesario que domines todo de inmediato, pero sí debes comprender los conceptos básicos. Piense en Docker como si colocara todo lo que creó en una caja que puede ejecutarse en casi cualquier lugar. Si ya tiene buenas habilidades en ingeniería de datos, esto debería estar bien. De lo contrario, deberá crearlos o confiar en alguien del equipo que los tenga.

Para el Paso 4 (La Infraestructura), las limitaciones dictan las opciones. Lambda, microservicios, dispositivos periféricos y, por supuesto, GPU. Las cargas de trabajo de aprendizaje automático a menudo necesitan una infraestructura especializada, a veces a través de servicios administrados como SageMaker.

En todos los pasos hay una regla que salva vidas: mantener siempre una forma sencilla de retroceder. La producción no se trata sólo de implementar, sino también de recuperarse cuando la realidad llega.

No considere este paso de su proyecto de ciencia de datos como un hito único. Es una secuencia de pasos y un cambio de mentalidad. En una empresa, no estamos esperando que usted impulse el modelo más complicado, queremos que cree un modelo que responda preguntas comerciales o agregue una característica esperada por un producto específico. Necesitamos que este modelo llegue al producto o al usuario, y que sea monitoreado para que la gente siga confiando en él y usándolo.

Comprender su entorno es muy importante. Las herramientas que mencioné antes pueden diferir de un equipo a otro, pero la metodología es la misma. Los comparto sólo para darte una idea concreta.

Puedes construir un gran modelo, pero si nadie lo usa, no importa.

Y si la gente lo usa, entonces se vuelve real, necesita propiedad, monitoreo, restricciones y un sistema a su alrededor.

No dejes que tu trabajo se quede en el 87%.

Nota: Algunas partes de este artículo se escribieron inicialmente en francés y se tradujeron al inglés con la ayuda de Gemini.

🤝 Manténgase conectado

Si te ha gustado este artículo, no dudes en seguirme en LinkedIn para obtener información más honesta sobre IA, ciencia de datos y carreras.

👉 LinkedIn: Sabrine Bendimerad

👉 Medio: https://medium.com/@sabrine.bendimerad1

👉 Instagram: https://tinyurl.com/datailearn