AGI Hunt· _reachsumit·· 4 小时前AI 评分33
阿里提出 PFA 稀疏注意力,加速长序列生成式推荐解码
阿里提出 PFA 稀疏注意力,加速长序列生成式推荐解码
AI 导读
阿里巴巴团队在 arXiv 论文 PFA(Progressively Focused Attention)中提出稀疏注意力方法,降低长用户行为序列下生成式推荐(GR)的解码延迟。PFA 首步保留全注意力,随后利用 cross-beam 加权聚合共享重要性排序,将所选 token 的 KV cache 重排为连续内存布局,并按几何级数持续缩减 token 集合。
来源:AGI Hunt · agihunt.info