腾讯 GistRank 研究用 4 个 gist token 压缩候选文档并完成 LLM 重排

腾讯团队在 GistRank 论文中提出软压缩重排方案，将每个候选段落压缩为 4 个可学习的 gist token，使 LLM 可基于短提示词完成列表式重排。研究分析了原生 gist 表示难以支持排序的原因，并通过三阶段训练注入忠实表示、判别性比较和列表排序能力，质量接近全文本重排，同时降低随候选数量和长度线性增长的推理成本。