跳到正文
AGI Hunt· _reachsumit·· 3 小时前AI 评分37

ReuseGR 论文:用 7B 离线规划与 0.5B 在线补全解耦生成式检索解码成本

ReuseGR 论文:7B 离线规划+0.5B 在线补全,解耦生成式检索降解码成本

AI 导读

ReuseGR 论文将生成式检索拆分为两级,由 7B 离线大模型为相同 query 规划可跨用户共享的 Semantic ID 前缀集合,再由 0.5B 在线小模型结合用户历史选择前缀并补全剩余 token。方法包含 ReuseCut、Path KD 和 BudgetCut,在约 200 万 query-item 记录、338 万商品目录的数据集上验证有效,旨在复用大模型计算并降低在线解码延迟。

来源:AGI Hunt · agihunt.info