Muon Optimizer acelera significativamente la ganancia en los transformadores: los investigadores de Microsoft exploran la influencia del optimizador en la generalización retrasada
Revisando el desafío de Grokking En los últimos años, el fenómeno de quejido-dónde aprendizaje profundo Los modelos exhiben una transición retrasada pero repentina de la memorización a la generalización, ha…