AGI Hunt· zdhnarsil·· 1 小时前AI 评分48
ISO 固定谱优化栈让 375B MoE 专家合并仅需数分钟
ISO:固定谱优化栈让375B MoE专家合并仅需数分钟
AI 导读
ISO 固定谱优化栈将 375B MoE 的 RL 专家合并缩短至数分钟,并已用于 K2-Horizon 的专家合并。ISO-Merger 无需额外数据、rollout、梯度或 on-policy 蒸馏;ISO-Optimizer 在 Qwen3-4B-Base 上以 1.5× 更少的 actor 更新次数达到与 AdamW/Muon 相当的 RLVR 精度。
来源:AGI Hunt · agihunt.info