AGI Hunt· _reachsumit·· 3 小时前AI 评分37
ReuseGR 论文:用 7B 离线规划与 0.5B 在线补全解耦生成式检索解码成本
ReuseGR 论文:7B 离线规划+0.5B 在线补全,解耦生成式检索降解码成本
AI 导读
ReuseGR 论文将生成式检索拆分为两级,由 7B 离线大模型为相同 query 规划可跨用户共享的 Semantic ID 前缀集合,再由 0.5B 在线小模型结合用户历史选择前缀并补全剩余 token。方法包含 ReuseCut、Path KD 和 BudgetCut,在约 200 万 query-item 记录、338 万商品目录的数据集上验证有效,旨在复用大模型计算并降低在线解码延迟。
来源:AGI Hunt · agihunt.info