ISO固定谱优化加速MoE专家合并
热点事件持续更新
ISO固定谱优化加速MoE专家合并
1 篇报道1 个报道来源50 分钟前更新
先了解这件事
AI 综述
UT Austin等机构介绍固定谱优化方法ISO-Merger与ISO-Optimizer,称前者可将375B MoE模型的强化学习专家合并缩短至数分钟,且已用于K2-Horizon;后者在Qwen3-4B-Base强化学习可验证奖励训练中,以AdamW或Muon约一半的actor更新次数达到相当精度。 其依据是:强化学习训练过程中,权重矩阵的奇异值谱几乎不变,新增能力主要体现在奇异向量框架上。研究团队称,恢复基础模型谱即可保留大部分习得能力,因此ISO-Merger无需额外数据、rollout、梯度或在线策略蒸馏。
AI 根据报道生成 · 28 分钟前更新
最新进展11月22日 11:01
ISO 固定谱优化栈让 375B MoE 专家合并仅需数分钟报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI HuntISO 固定谱优化栈让 375B MoE 专家合并仅需数分钟
ISO 固定谱优化栈将 375B MoE 的 RL 专家合并缩短至数分钟,并已用于 K2-Horizon 的专家合并。ISO-Merger 无需额外数据、rollout、梯度或 on-policy 蒸馏;ISO-Optimizer 在 Qwen3-4B-Base 上以 1.5× 更少的 actor 更新次数达到与 AdamW/Muon 相当的 RLVR 精度。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。