跳到正文
AGI Hunt· _reachsumit·· 3 小时前AI 评分44

Deco 论文解耦推荐模型的「思考」与「拼写」,吞吐提升至 8.6 倍

Deco 论文把推荐模型「思考」与「拼写」解耦,吞吐提升至 8.6 倍

AI 导读

arXiv 论文提出 Deco,将生成式推荐中的 semantic-ID beam search 从 backbone 解码中解耦。Deco 以融合 token 浓缩下一物品概念,并通过轻量 KV-cache 解码器完成搜索。在电商、电影、音乐流媒体等 7 个数据集上精度持平或更优,50ms p95 延迟预算下吞吐提升 3.2–8.6 倍。

来源:AGI Hunt · agihunt.info