AGI Hunt· Xianbao_QIAN·· 6 小时前AI 评分33
Meta Expert 论文提出跨层共享专家,以 70–80% 参数匹敌主流 MoE
Meta Expert 论文:跨层共享专家仅用 70-80% 参数即匹敌主流 MoE
AI 导读
论文《Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE》提出以跨层共享的 Meta Expert 取代主流 MoE 分层独立的 Local Expert 架构。
来源:AGI Hunt · agihunt.info