新研究：更强的线性注意力为何让混合 LLM 变弱？

研究者提出并验证“竞争学习”机制解释：混合架构中，线性注意力抢占训练信号，削弱了 softmax 注意力。采用 Better Layer Division（BLD）修复后，400M 规模模型的 RULER 分数显著提升，Gated DeltaNet 从 12.33 升至 25.42，Gated Linear Attention 从 23.98 升至 28.54；论文与代码已公开。