跳到正文
AGI Hunt· _reachsumit·· 2 小时前AI 评分27

ShiftRAG 用软令牌直传检索信号,突破 RAG 的文本瓶颈

ShiftRAG 用软令牌直传检索信号,突破 RAG 的文本瓶颈

AI 导读

ShiftRAG 提出用连续软令牌将检索器的判别性对齐信号直接注入生成器,在单一 LLM 骨干中解耦判别式检索学习与自回归生成。其软正交目标可缓解 decoder-only 架构的 rank collapse,在检索与问答任务上均显著优于 SOTA 基线,同时保持骨干模型基础能力;论文与代码均已公开。

来源:AGI Hunt · agihunt.info