CMU 研究：预训练数据够大时，微调后 AdamW 反超 Muon

CMU 发布的第二批研究证实，Muon 在预训练阶段的 loss 低于 AdamW，但微调后的表现会随预训练数据规模而反转。数据量足够大时，AdamW 微调表现反超 Muon；论文编号为 arXiv:2611.03633，将在 COLM MOSS workshop 以 oral 形式发表。