AGI Hunt· mgostIH·· 1 小时前AI 评分30
注意力机制新解读:本质是单位球面上的球面插值
注意力机制新解读:本质是单位球面上的球面插值
AI 导读
mgostIH 提出对注意力操作的几何直觉:attention 是对 value 向量的凸组合,而单位球面上向量的凸组合几乎总落在球内。由于 Layer/RMSnorm 是到球面上的投影,attention+norm 因而可视为球面插值。这一框架借高维高斯分布质量几乎集中于球面附近的现象,为理解 Transformer 内部几何提供了简洁视角,配图示意了单位圆内凸组合向量与球面投影的关系。
来源:AGI Hunt · agihunt.info