UCSD研究称检索干扰比长度更致命

UC San Diego团队在论文《Length Is Cheap, Competition Is Not》中提出，长文本检索性能下降主要源于相似“竞争性陈述”抢占模型注意力，而非输入过长；其12.6万余次试验显示，注意力质量最多解释58%的损失方差，输入长度最多解释8%。 在5个0.5B—3B开源模型实验中，Qwen2.5-1.5B加入3.2万token无关中性文本后准确率仍为97%—100%，但出现一条与问题格式相同、仅数值不同的陈述后，准确率降至0.11—0.21，损失放大9—110倍。研究还发现，掩蔽无关填充文本会使检索得分下降46分，而直接展示相同填充内容没有造成损失。论文代码及全部试验数据已开源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。