港大与 UC Berkeley 提出 Nestor：以注意力嵌套稀疏替代 MoE

港大朱天泽、UC Berkeley 的 Druv Pai 与 Yi Ma 提出 Nestor，将稀疏性引入注意力算子并采用层级嵌套组合，与在 MLP 层稀疏化的 MoE 形成区别。论文称，Nestor 在预训练、长上下文适配和持续学习上优于标准 MoE transformer，为大规模可扩展训练提供 MoE 之外的新路径。