DeepSeek-V4调整MoE路由缩放
热点事件持续更新
DeepSeek-V4调整MoE路由缩放
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Nouamanetazi 的实现分析显示，DeepSeek-V4 将 MoE 路由得分从 sigmoid 改为 sqrt(softplus)，但各模型的缩放方案不同：GLM-5.3 与 Step 5 Preview 仍接近 √k，Kimi K3 在 k=16 时采用 1.0，并在上投影前归一化路由和。 该分析认为，√k 缩放可使输出 RMS 始终接近单个专家水平；实际部署若使用 bf16，舍入可能令相近 logits 的专家选择翻转，因此建议设置 `--moe-router-dtype fp32`。
AI 根据报道生成 · 3 小时前更新
最新进展11月6日 02:39
DeepSeek-V4 路由打分改用 sqrt(softplus)，各大 MoE 路线分化报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI HuntDeepSeek-V4 路由打分改用 sqrt(softplus)，各大 MoE 路线分化
分析指出，DeepSeek-V4 将路由得分从 sigmoid 改为 sqrt(softplus)，各大 MoE 路线的缩放因子呈现分化。GLM-5.3 与 Step 5 Preview 仍接近 √k，Kimi K3 在 k=16 时取 1.0；实操建议设置 `--moe-router-dtype fp32`，避免 bf16 舍入造成专家选择翻转。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月6日 03:00
- 近 24 小时变化
- –
02.557.510
03:0004:0005:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。