Este documento explora estrategias de aprendizaje profundo para ejecutar modelos de lenguaje MoE avanzados en hardware a nivel de consumidor
Con la adopción generalizada de los modelos de lenguaje grande (LLM), la búsqueda de formas eficientes de ejecutar estos modelos en hardware de consumo ha ganado importancia. Una estrategia prometedora…