杨松林辨析 attention sink 与 gated attention 的三点技术差异

杨松林回应 attention sink 与 gated attention 关联的讨论，辨析了两者在运算粒度、logZ 作用及结构特性上的技术差异。attention sink 无法建模逐元素的 gated attention；gated attention 是纯逐点运算，与 logZ 无关，而 attention sink 考虑了 logZ。此外，gated attention 具备可堆叠性。