跳到正文
AGI Hunt· ziv_ravid·· 1 小时前AI 评分45

Muon 早期权重衰减收益随权重范数迁移,压低后难以恢复

研究证实收益随权重范数迁移,早期衰减压低范数难恢复

AI 导读

Muon 研究证实,固定权重范数并重放早期衰减步长,可在 162M 模型上获得相近收益,交换两次训练的权重范数后收益也随之单向迁移。1.4B 模型移除衰减时,训练中的权重范数仅为无衰减对照的 12-16%,结束时也仅回升到 60-66%,说明早期压低的范数难以恢复。

来源:AGI Hunt · agihunt.info