注意力机制被解读为球面插值

mgostIH提出一种新的几何直觉：注意力机制对 value 向量进行凸组合，而结合 RMSNorm 等归一化操作后，可近似理解为单位球面上的球面插值。 其依据是，向量的凸组合通常落在单位球内部，归一化则将其重新投影到球面；高维高斯分布的质量集中在球面附近，也强化了这一解释。该框架目前是理解 Transformer 内部几何的研究视角，并非已被证明的等价机制。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。