AGI Hunt· Bayliner1980·· 3 小时前AI 评分54
开发者将 Qwen3-0.6B 改造为 MoE,质量下降且提速有限
开发者把 Qwen3-0.6B 改造成 MoE:质量下降,0.6B 级别提速有限
AI 导读
Bayliner1980 将 Qwen3-0.6B 稀疏化为激活参数约 0.5B 的 MoE 模型,并发布 HF 权重和 GGUF 版本。评测显示 Wiki ppl 从 23.88 升至 26.98,GPU 生成速度从 377 降至 352 t/s,CPU 从 115 升至 124 t/s;伪共享专家只能挽回部分质量,0.6B 规模几乎无提速收益。
来源:AGI Hunt · agihunt.info