跳到正文
热点事件持续更新

ISO固定谱优化加速MoE专家合并

1 篇报道1 个报道来源50 分钟前更新

先了解这件事

AI 综述

UT Austin等机构介绍固定谱优化方法ISO-Merger与ISO-Optimizer,称前者可将375B MoE模型的强化学习专家合并缩短至数分钟,且已用于K2-Horizon;后者在Qwen3-4B-Base强化学习可验证奖励训练中,以AdamW或Muon约一半的actor更新次数达到相当精度。 其依据是:强化学习训练过程中,权重矩阵的奇异值谱几乎不变,新增能力主要体现在奇异向量框架上。研究团队称,恢复基础模型谱即可保留大部分习得能力,因此ISO-Merger无需额外数据、rollout、梯度或在线策略蒸馏。

AI 根据报道生成 · 28 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    ISO 固定谱优化栈让 375B MoE 专家合并仅需数分钟

    ISO 固定谱优化栈将 375B MoE 的 RL 专家合并缩短至数分钟,并已用于 K2-Horizon 的专家合并。ISO-Merger 无需额外数据、rollout、梯度或 on-policy 蒸馏;ISO-Optimizer 在 Qwen3-4B-Base 上以 1.5× 更少的 actor 更新次数达到与 AdamW/Muon 相当的 RLVR 精度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。