跳到正文
AGI Hunt· IITK·· 2 小时前AI 评分36

Muon-RT 用教师轨迹替代动量缓冲,微调省显存并提升 2.6 分

Muon-RT 用教师轨迹替代动量缓冲,微调省显存还涨 2.6 分

AI 导读

Muon-RT 取消独立动量缓冲,改用 EMA 教师与学生权重间的位移向量更新模型参数。在 Qwen2.5-7B-Instruct 的 SDFT 微调实验中,相比 AdamW 平均提升 2.6 个百分点,其中 Tool use 提升 3.6、Science 提升 1.6,同时降低每 GPU 显存占用。

来源:AGI Hunt · agihunt.info