跳到正文
AGI Hunt· Nouamanetazi·· 4 小时前AI 评分40

DeepSeek-V4 前 3 个 MoE 层用 token id 哈希替代可学习路由

DeepSeek-V4 前三层用 token id 哈希替代可学习路由

AI 导读

DeepSeek-V4 前 3 个 MoE 层以 token id 固定哈希选择专家,不使用可学习路由。V4.1-Flash 改回全层可学习路由,并将 token-id 查找移入 Engram。配图对比显示,哈希层让所有「the」共享同 6 个专家、重叠度为 1,Engram 不选择专家、重叠度为 0。

来源:AGI Hunt · agihunt.info