El modelo Mixtral 8x7B de código abierto de Mistral AI causó mucha sensación: esto es lo que hay debajo del capó
Mixtral 8x7B, el nuevo LLM de mezclas dispersas de expertos de Mistral AI, recientemente causó mucha sensación, con titulares dramáticos como “Mistral AI presenta Mixtral 8x7B: un modelo de lenguaje de mezcla dispersa de expertos (SMoE). Transformando el aprendizaje automático“ o “El Mixtral 8x7B de Mistral AI supera al GPT-3.5, sacudiendo el mundo de la IA“
Mistral AI es una startup francesa de IA fundada en 2023 por antiguos ingenieros de Meta y Google. La compañía lanzó Mixtral 8x7B, en lo que quizás fue el lanzamiento más brusco en la historia de los LLM, simplemente descargando el enlace magnético Torrent en su cuenta de Twitter el 8 de diciembre de 2023.
provocando numerosos memes sobre la forma poco convencional de Mistral de lanzar modelos.
“Mixtral de Expertos”(Jiang et al 2024), el artículo de investigación adjunto, se publicó aproximadamente un mes después, el 8 de enero de este año, en Arxiv. Echemos un vistazo y veamos si el revuelo está justificado.
(Alerta de spoiler: debajo del capó, no hay mucho que sea técnicamente nuevo).
Pero primero, para contextualizar, un poco de historia.
MoE escaso en LLM: una breve historia
Modelos de mezclas de expertos (MoE) Se remonta a investigaciones de principios de los años 90. (Jacobs et al 1991). La idea es modelar una predicción y utilizando la suma ponderada de expertos E, donde los pesos están determinados por una red de control G. Es una forma de dividir un problema grande y complejo en subproblemas distintos y más pequeños. Divide y vencerás, por así decirlo. Por ejemplo, en el trabajo original, los autores mostraron cómo diferentes expertos aprenden a especializarse en diferentes límites de decisión en un problema de discriminación de vocales.
Sin embargo, lo que realmente hizo que MoE volara fue el enrutamiento top-k, una idea presentada por primera vez en el artículo de 2017 “Redes neuronales escandalosamente grandes”(Shazeer et al 2017). La idea clave es calcular la salida de sólo los k mejores expertos en lugar de todos ellos, lo que nos permite mantener los FLOP constantes incluso cuando…