Los modelos de mezcla de expertos (MOE) utilizan un enrutador para asignar tokens a módulos expertos específicos, activando solo un subconjunto de parámetros, a menudo conduciendo a una eficiencia y un rendimiento superiores en comparación con los modelos densos. En estos modelos, una gran red de alimentación se divide en redes expertas más pequeñas, con el enrutador, típicamente un clasificador MLP, determinando qué expertos procesa cada entrada. Sin embargo, surge una cuestión clave de la separación del enrutador de la ejecución de los expertos. Sin el conocimiento directo de las capacidades de los expertos, las tareas del enrutador son predicciones sin etiquetas. Las malignas pueden obstaculizar el rendimiento de los expertos, que requieren una adaptación de expertos o una mejora iterativa del enrutador, lo que resulta en ineficiencias durante la capacitación.
Investigadores de la Universidad Renmin de China, Tencent y la Universidad del Sureste han introducido autonomía de expertos (AOE), un nuevo paradigma de MOE donde los expertos deciden independientemente si procesar las entradas. Este enfoque aprovecha la conciencia de cada experto sobre su capacidad para manejar los tokens, reflejado en la escala de sus activaciones internas. En AOE, los expertos calculan las activaciones internas para todas las entradas, y solo las mejor clasificadas, según las normas de activación, proceden con un procesamiento adicional, eliminando la necesidad de enrutadores. La sobrecarga del almacenamiento en caché de activaciones no utilizadas se reduce utilizando una factorización de peso de bajo rango. Con hasta 4 mil millones de parámetros, los modelos AOE previamente capacitados superan a los modelos MOE tradicionales en la eficiencia y las tareas aguas abajo.
El estudio examina modelos MOE dispersos, donde cada módulo de red de avance (FFN) funciona como un experto. A diferencia de los modelos MOE densos, que utilizan todos los parámetros, los modelos MOE dispersos mejoran la eficiencia al activar solo los expertos más relevantes para entradas específicas. Estos modelos se basan en un enrutador para asignar entradas a los expertos apropiados, generalmente utilizando un enfoque de “token que elige a los expertos de Top-K”. Un desafío clave es mantener la utilización equilibrada de expertos, ya que los enrutadores a menudo usan en exceso a ciertos expertos, lo que lleva a ineficiencias. Para abordar esto, los mecanismos de equilibrio de carga aseguran una distribución más equitativa de las tareas entre los expertos al incorporar pérdidas auxiliares, mejorando así la eficiencia general.
El AOE es un método en el que los expertos determinan independientemente su selección en función de las normas de activación interna, eliminando la necesidad de mecanismos de enrutamiento explícitos. Los experimentos iniciales revelaron que la escala de las normas de activación en ciertos puntos computacionales refleja la capacidad de un experto para procesar las entradas de manera efectiva. AOE se basa en esta información al clasificar a los expertos en función de las normas L2 de activaciones comprimidas, seleccionando las de alto rendimiento para el cálculo. Al factorizar las matrices de peso y el almacenamiento en caché de las activaciones de baja dimensión, AOE reduce significativamente la sobrecarga de computación y de la memoria al tiempo que mantiene una alta eficiencia, abordando las limitaciones en los marcos MOE tradicionales.
La investigación compara el marco AOE con los modelos MOE tradicionales a través de experimentos en modelos de lenguaje previamente capacitados más pequeños. Utilizando un modelo de 12 capas con 732 millones de parámetros y ocho expertos por capa, entrenados en 100 mil millones de tokens, los resultados destacan que AOE funciona mejor que el MOE tanto en tareas aguas abajo como en la eficiencia de entrenamiento. Muestra que el mejor rendimiento se logra cuando la dimensión reducida es aproximadamente un tercio de la dimensión general del modelo. AOE mejora el equilibrio de carga y la utilización de expertos en las capas, lo que lleva a una mejor generalización y eficiencia cuando se combina con métodos de selección de expertos alternativos.
En conclusión, AoE es un marco MOE diseñado para superar una limitación clave en los modelos MOE tradicionales: separar las decisiones del enrutador y la ejecución de los expertos, a menudo resulta en una selección ineficiente de expertos y un aprendizaje subóptimo. En AOE, los expertos se seleccionan de manera autónoma en función de sus escalas de activación interna, eliminando la necesidad de enrutadores. Este proceso implica activaciones previas a las activaciones y expertos en clasificación por sus normas de activación, lo que solo permite que los expertos de alto rango continúen. La eficiencia se mejora a través de la factorización de peso de bajo rango. Los modelos de lenguaje previamente capacitados que utilizan AOE superan a los modelos MOE convencionales, que muestran una mejor selección de expertos y la eficiencia general del aprendizaje.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 70k+ ml de subreddit.
🚨 [Recommended Read] Nebius AI Studio se expande con modelos de visión, nuevos modelos de idiomas, incrustaciones y Lora (Promocionado)
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.