AGI Hunt· ivan_bezdomny·· 3 小时前AI 评分36
细粒度 MoE 架构设计分析：DeepSeek-V3 式 128 专家路由改善损失 4.9%-6.2%
细粒度 MoE 是最大红利：DeepSeek-V3 式 128 专家路由提升损失 4.9%-6.2%
AI 导读
技术分析指出，DeepSeek-V3 式 128 专家配合 sigmoid 路由，相比基线使损失改善 4.9%、5.6% 和 6.2%，且模型宽度越大收益越明显。
来源：AGI Hunt · agihunt.info