Instacart ha introducido recientemente Griffin 2.0, una plataforma de aprendizaje automático (ML), para agilizar el desarrollo y la implementación de aplicaciones de ML. Es una forma actualizada de la plataforma Griffin de primera generación. Griffin de primera generación también fue muy eficiente y triplicó la cantidad de aplicaciones de ML en un año. Pero también tenía ciertas limitaciones. Enfrentó desafíos con herramientas complejas, experiencia de usuario fragmentada, falta de estandarización y problemas de escalabilidad.
En consecuencia, los investigadores de Instacart intentaron abordar estas limitaciones y desarrollaron Griffin 2.0 para resolver estos problemas. También han incluido ciertas novedades en Griffin 2.0. Además, Griffin’s 2.0 tiene una arquitectura orientada a servicios en lugar de utilizar herramientas basadas en Git y una interfaz de línea de comandos (CLI) como en la primera edición. Los investigadores dijeron que este cambio de arquitectura y una interfaz de usuario web intuitiva permiten a los ingenieros de aprendizaje automático (MLE) tener una experiencia perfecta. También es posible integrar el SDK de Griffin con herramientas adicionales, incluido BentoLM y el entorno de desarrollo basado en la nube de Instacart para portátiles de aprendizaje automático.
Los investigadores han utilizado tres subsistemas principales en el backend de Griffin 2.0. Estos subsistemas son Model Training Platform (MLTP), Model Service Platform (MLSP) y Feature Store. Model Training Platform (MLTP) se utiliza para aprovechar Ray y proporciona un entorno informático escalable horizontalmente. También puede unificar varias plataformas de backend de capacitación en Kubernetes y proporciona tiempos de ejecución basados en configuración para ciertos marcos como Tensorflow y LightGBM. Mientras tanto, Model Service Platform (MLSP) puede optimizar y automatizar el almacenamiento de artefactos modelo, las implementaciones y el aprovisionamiento de servicios de inferencia. MLSP también permite ajustar los recursos de servicio y las configuraciones de escalabilidad y garantiza una disponibilidad rápida y de bajo mantenimiento de los modelos de ML a escala. Feature Store admite el cálculo, la ingestión, la capacidad de descubrimiento y la compartibilidad de funciones; Feature Store presenta un flujo de trabajo basado en la interfaz de usuario para configurar nuevas fuentes de funciones y ajustar el cálculo de funciones.
Además, Griffin 2.0 utiliza un sistema centralizado de gestión de funciones y metadatos. Tiene capacidades de computación distribuida y mecanismos de servicio estandarizados. Estas características lo hacen ideal para aplicaciones avanzadas como capacitación, ajuste y servicio de modelos de lenguaje grande (LLM) en el futuro. Además, el flujo de trabajo basado en la interfaz de usuario fácil de usar agiliza significativamente la creación de nuevas fuentes de funciones y cálculos. Al mismo tiempo, la validación de datos mejora la calidad de las funciones generadas al detectar errores en las primeras etapas del proceso.
Los investigadores enfatizan que, si bien este Griffin actualizado ha logrado avances significativos, quieren mejorar aún más el funcionamiento de esta plataforma. Los esfuerzos continuos para mejorar el funcionamiento de Griffin incluyen recopilar comentarios, realizar mejoras y fomentar la adopción para hacer realidad la visión descrita en esta evolución de la plataforma Griffin.
En conclusión, Griffin 2.0 puede progresar significativamente en la investigación de ML de Instacart, ya que resuelve los problemas de la primera versión y tiene ciertas características nuevas para ayudar en más tareas. Además, los cambios en su interfaz de usuario y una interfaz web más amigable lo hacen más sencillo para los usuarios. Además, el compromiso de Instacart con una mejor experiencia de usuario, escalabilidad y nuevas capacidades, como Griffin 2.0, pueden remodelar este dominio.
Rachit Ranjan es pasante de consultoría en MarktechPost. Actualmente está cursando su B.Tech en el Instituto Indio de Tecnología (IIT) de Patna. Está dando forma activamente a su carrera en el campo de la inteligencia artificial y la ciencia de datos y le apasiona y se dedica a explorar estos campos.