跳到正文
热点事件持续更新

ERMoE以正交特征基实现无学习路由

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

ERMoE研究团队提出一种无需学习路由器的混合专家模型路由方法:以输入特征与各专家正交特征基的余弦相似度分配Token,无需负载均衡辅助损失。 论文称,该方法在ImageNet分类上的top-1准确率比V-MoE高0.6个百分点,同时参数量少15%,并在图文跨模态检索任务上达到当时最佳水平。其核心变化是用固定的特征基计算替代可学习的路由器,以提升路由稳定性和专家特化能力。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    ERMoE 用特征基路由取代学习路由器,ImageNet top-1 超 V-MoE 0.6 点

    ERMoE 以特征基路由替代学习路由器,将每个专家参数化到一组正交特征基,并以输入特征与专家基的余弦相似度分配 token。该方法省去负载均衡辅助损失,使路由更稳定、专家特化更可解释。ImageNet top-1 比 V-MoE 高 0.6 点,参数少 15%,并在图文跨模态检索上达到 SOTA。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。