跳到正文
AGI Hunt· douglovefishing12·· 1 小时前AI 评分48

Hy 团队反对超稀疏 MoE:稀疏换效率但救不回质量

AI 导读

Hy 团队在 AMA 中否定超稀疏 MoE,称其虽能提升计算效率,却无法弥补削减激活参数造成的质量损失。固定激活参数时,提高稀疏度可回收部分效率;但总参数不变并降至 156B-A8B 或 A5B,会因计算预算下降而严重损害质量。该结论主要适用于数据中心 GPU serving,本地部署的权衡可能因专家权重 offload 而反转。

来源:AGI Hunt · agihunt.info