Attention Is Not What You Need：基于 Grassmann 流的免注意力架构研究

研究重新审视显式自注意力的必要性，提出基于 Grassmann 流的免注意力架构，通过局部低秩子空间的几何变形传播信息。在 Wikitext-2 上，13 to 18 million parameters 的模型验证困惑度与同规模 Transformer 相差约 10 to 15 percent。