跳到正文
AGI Hunt· _reachsumit·· 58 分钟前AI 评分36

研究:可训练 [DUMP] 前缀 token 提升编码器与解码器检索效果

可训练 [DUMP] 前缀 token 吸收噪声,提升编码器与解码器检索效果

AI 导读

研究提出在嵌入模型训练中引入可训练的 [DUMP] 前缀 token,通过吸收无信息残留信号,改善编码器与解码器的检索效果。该方法不改动模型架构、池化策略和训练损失,仅用标准对比检索目标优化新增 token,并在标准检索与长上下文基准上稳定超过微调基线;论文被 CIKM 2026 接收。

来源:AGI Hunt · agihunt.info