Investigadores de Microsoft presentan Samba 3.8B: una arquitectura simple de atención de ventana deslizante Mamba+ que supera a Phi3-mini en los principales puntos de referencia
Los modelos de lenguajes grandes (LLM) enfrentan desafíos para capturar dependencias complejas a largo plazo y lograr una paralelización eficiente para la capacitación a gran escala. Los modelos basados en…