IITK提出Muon-RT降低微调显存
热点事件持续更新
IITK提出Muon-RT降低微调显存
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
IITK提出Muon-RT优化器，以EMA教师与学生权重间的位移向量替代独立动量缓冲，降低微调时的单卡显存占用。在Qwen2.5-7B-Instruct的SDFT微调实验中，相比AdamW，其平均得分提高2.6个百分点，其中Tool use提高3.6个百分点、Science提高1.6个百分点。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 14:17
Muon-RT 用教师轨迹替代动量缓冲，微调省显存并提升 2.6 分报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI HuntMuon-RT 用教师轨迹替代动量缓冲，微调省显存并提升 2.6 分
Muon-RT 取消独立动量缓冲，改用 EMA 教师与学生权重间的位移向量更新模型参数。在 Qwen2.5-7B-Instruct 的 SDFT 微调实验中，相比 AdamW 平均提升 2.6 个百分点，其中 Tool use 提升 3.6、Science 提升 1.6，同时降低每 GPU 显存占用。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。