ReuseGR以两级模型降低生成式检索延迟
热点事件持续更新
ReuseGR以两级模型降低生成式检索延迟
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
ReuseGR研究团队提出一种两级生成式检索方法：由7B大模型离线为相同查询规划可跨用户共享的Semantic ID前缀，再由0.5B小模型结合用户历史在线选择前缀并补全剩余词元，在保留个性化的同时复用大模型计算。 该方法包含ReuseCut、Path KD和BudgetCut，并在约200万条查询—商品记录、338万件商品的工业搜索广告数据集上验证有效，旨在降低在线解码延迟、解决大模型难以在线服务的问题。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 05:30
ReuseGR 论文：用 7B 离线规划与 0.5B 在线补全解耦生成式检索解码成本报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI HuntReuseGR 论文：用 7B 离线规划与 0.5B 在线补全解耦生成式检索解码成本
ReuseGR 论文将生成式检索拆分为两级，由 7B 离线大模型为相同 query 规划可跨用户共享的 Semantic ID 前缀集合，再由 0.5B 在线小模型结合用户历史选择前缀并补全剩余 token。方法包含 ReuseCut、Path KD 和 BudgetCut，在约 200 万 query-item 记录、338 万商品目录的数据集上验证有效，旨在复用大模型计算并降低在线解码延迟。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。