BlackHC重提NoPE与BAM位置编码研究

开发者 BlackHC 重提 NoPE 与 BAM 两篇位置编码研究，并称完全不使用位置编码的 NoPE 在下游任务长度泛化上优于 APE、T5 Relative PE、ALiBi 和 RoPE，且没有额外计算开销；他还援引研究指出，理论上 NoPE 可表达绝对与相对位置信息。 BlackHC 同时称，Scratchpad 并不总能缓解长度泛化问题。此次内容属于对既有论文的再次讨论，BAM 研究的具体结论未在报道中展开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。