AGI Hunt· _reachsumit·· 58 分钟前AI 评分36
研究:可训练 [DUMP] 前缀 token 提升编码器与解码器检索效果
可训练 [DUMP] 前缀 token 吸收噪声,提升编码器与解码器检索效果
AI 导读
研究提出在嵌入模型训练中引入可训练的 [DUMP] 前缀 token,通过吸收无信息残留信号,改善编码器与解码器的检索效果。该方法不改动模型架构、池化策略和训练损失,仅用标准对比检索目标优化新增 token,并在标准检索与长上下文基准上稳定超过微调基线;论文被 CIKM 2026 接收。
来源:AGI Hunt · agihunt.info