DeepSeek-V4前3层采用固定哈希路由
热点事件持续更新
DeepSeek-V4前3层采用固定哈希路由
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
AGI Hunt作者Nouamanetazi解析称，DeepSeek-V4前3个混合专家层不使用可学习路由，而是按token id固定哈希选择专家；V4.1-Flash则恢复全层可学习路由，并将token-id查找移入Engram。 Engram是以加法方式注入embedding的n-gram表，不负责选择专家。作者的对比图显示，V4.1-Flash中所有“the”共享同6个专家，重叠度为1；Engram的重叠度为0。
AI 根据报道生成 · 3 小时前更新
最新进展11月6日 02:39
DeepSeek-V4 前 3 个 MoE 层用 token id 哈希替代可学习路由报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI HuntDeepSeek-V4 前 3 个 MoE 层用 token id 哈希替代可学习路由
DeepSeek-V4 前 3 个 MoE 层以 token id 固定哈希选择专家，不使用可学习路由。V4.1-Flash 改回全层可学习路由，并将 token-id 查找移入 Engram。配图对比显示，哈希层让所有「the」共享同 6 个专家、重叠度为 1，Engram 不选择专家、重叠度为 0。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月6日 03:00
- 近 24 小时变化
- –
02.557.510
03:0004:0005:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。