AGI Hunt· BlackHC·· 3 小时前AI 评分32
NoPE 论文:不用位置编码反而更强,再引长度泛化讨论
不用位置编码反而更强?NoPE 论文再引长度泛化讨论
AI 导读
BlackHC 重提 NoPE 论文,称完全不加位置编码的 NoPE 在下游任务长度泛化上优于 APE、T5 Relative PE、ALiBi 和 RoPE。NoPE 无额外计算开销,理论上可表达绝对与相对位置编码;Scratchpad 则不总能缓解长度泛化问题。
来源:AGI Hunt · agihunt.info