Nestor以注意力嵌套稀疏扩展MoE路径
热点事件持续更新
Nestor以注意力嵌套稀疏扩展MoE路径
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
港大朱天泽、UC Berkeley的Druv Pai与Yi Ma提出Nestor，把稀疏性引入注意力算子，并通过层级嵌套组合实现条件计算，而非像MoE那样在MLP层分配专家。论文称，Nestor在预训练、长上下文适配和持续学习任务上优于标准MoE Transformer，为大规模可扩展训练提供了MoE之外的新路径。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 16:17
港大与 UC Berkeley 提出 Nestor：以注意力嵌套稀疏替代 MoE报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- AGI Hunt港大与 UC Berkeley 提出 Nestor：以注意力嵌套稀疏替代 MoE
港大朱天泽、UC Berkeley 的 Druv Pai 与 Yi Ma 提出 Nestor，将稀疏性引入注意力算子并采用层级嵌套组合，与在 MLP 层稀疏化的 MoE 形成区别。论文称，Nestor 在预训练、长上下文适配和持续学习上优于标准 MoE transformer，为大规模可扩展训练提供 MoE 之外的新路径。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。