El equipo de Skywork presenta Skywork-MoE: un modelo de combinación de expertos (MoE) de alto rendimiento con 146 mil millones de parámetros, 16 expertos y 22 mil millones de parámetros activados
El desarrollo de grandes modelos de lenguaje (LLM) ha sido un punto focal en el avance de las capacidades de PNL. Sin embargo, entrenar estos modelos plantea desafíos sustanciales debido…