跳到正文
AGI Hunt· Nouamanetazi·· 4 小时前AI 评分46

DeepSeek-V4 路由打分改用 sqrt(softplus),各大 MoE 路线分化

DeepSeek-V4 路由打分改用 sqrt(softplus),各大 MoE 路线分化

AI 导读

分析指出,DeepSeek-V4 将路由得分从 sigmoid 改为 sqrt(softplus),各大 MoE 路线的缩放因子呈现分化。GLM-5.3 与 Step 5 Preview 仍接近 √k,Kimi K3 在 k=16 时取 1.0;实操建议设置 `--moe-router-dtype fp32`,避免 bf16 舍入造成专家选择翻转。

来源:AGI Hunt · agihunt.info