Autonomía de expertos (AOE): un paradigma sin enrutadores para modelos eficientes y adaptativos de la mezcla de expertos
Los modelos de mezcla de expertos (MOE) utilizan un enrutador para asignar tokens a módulos expertos específicos, activando solo un subconjunto de parámetros, a menudo conduciendo a una eficiencia y…