Los investigadores de Moonshot AI y UCLA liberan a Moonlight: un modelo de mezcla 3B/16B-Parameter (MOE) entrenado con tokens 5.7t usando Muon Optimizer
La capacitación de grandes modelos de idiomas (LLM) se ha vuelto central para avanzar en la inteligencia artificial, sin embargo, no está exento de desafíos. A medida que los tamaños…