跳到正文
AGI Hunt· BlackHC·· 3 小时前AI 评分32

NoPE 论文:不用位置编码反而更强,再引长度泛化讨论

不用位置编码反而更强?NoPE 论文再引长度泛化讨论

AI 导读

BlackHC 重提 NoPE 论文,称完全不加位置编码的 NoPE 在下游任务长度泛化上优于 APE、T5 Relative PE、ALiBi 和 RoPE。NoPE 无额外计算开销,理论上可表达绝对与相对位置编码;Scratchpad 则不总能缓解长度泛化问题。

来源:AGI Hunt · agihunt.info