跳到正文
AGI Hunt· burny_tech·· 2 小时前AI 评分36

ERMoE 用特征基路由取代学习路由器,ImageNet top-1 超 V-MoE 0.6 点

ERMoE 用特征基路由取代学习 router,ImageNet 超越 V-MoE 0.6 点

AI 导读

ERMoE 以特征基路由替代学习路由器,将每个专家参数化到一组正交特征基,并以输入特征与专家基的余弦相似度分配 token。该方法省去负载均衡辅助损失,使路由更稳定、专家特化更可解释。ImageNet top-1 比 V-MoE 高 0.6 点,参数少 15%,并在图文跨模态检索上达到 SOTA。

来源:AGI Hunt · agihunt.info