跳到正文
AGI Hunt· Nouamanetazi·· 4 小时前AI 评分27

GLM、Kimi、DeepSeek 保留共享专家,MiMo 取消并改用 latent 压缩

AI 导读

MoE 手册拆解最新模型的共享专家设计,GLM-5.3、Kimi K3 和 DeepSeek V4.1 Flash 均保留 shared expert,MiMo-V2.6 则取消共享专家并采用 latent 压缩。Nemotron 等模型也采取不同取舍,反映各家在专家结构设计上的路径分化。

来源:AGI Hunt · agihunt.info