MarkTechPost· Michal Sutter·· 2 小时前AI 评分61
10 个开源 MoE 模型路由机制对比：DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss
Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared
AI 导读
文章对比 10 个开源 MoE 模型的 token 路由方式，涵盖专家数量、top-k、共享专家、门控评分和负载均衡方法。Mixtral 使用 8 个路由专家和 top-2，Llama 4 Maverick 使用 128 个路由专家和 top-1，DeepSeek-V4-Pro 与 Kimi K2 则扩展到 384 个路由专家。
来源：MarkTechPost · marktechpost.com