AGI Hunt· Nouamanetazi·· 4 小时前AI 评分27
GLM、Kimi、DeepSeek 保留共享专家,MiMo 取消并改用 latent 压缩
AI 导读
MoE 手册拆解最新模型的共享专家设计,GLM-5.3、Kimi K3 和 DeepSeek V4.1 Flash 均保留 shared expert,MiMo-V2.6 则取消共享专家并采用 latent 压缩。Nemotron 等模型也采取不同取舍,反映各家在专家结构设计上的路径分化。
来源:AGI Hunt · agihunt.info