可训练DUMP前缀提升检索效果

论文作者提出在嵌入模型训练中加入可训练的[DUMP]前缀token，并在标准检索与长上下文基准上验证：该方法使编码器和解码器的检索效果稳定超过微调基线，论文已被CIKM 2026接收。 作者称，新增前缀token可与常规token交互，吸收注意力沉降造成的无信息残留信号，并在池化前降低其对最终表示的影响；方法不改动模型架构、池化策略或训练损失，仅使用标准对比检索目标进行优化。

AI 根据报道生成 · 24 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。