阿里提出PFA稀疏注意力降低推荐解码延迟

阿里巴巴团队在 arXiv 发表论文，提出 PFA（Progressively Focused Attention）稀疏注意力方法，用于降低长用户行为序列下生成式推荐的解码延迟。 PFA 首步保留全注意力，随后通过 cross-beam 加权聚合共享重要性排序，选出重点 token 并将其 KV cache 重排为连续内存布局，再按几何级数逐步缩减参与注意力的 token 集合，从而减少长序列解码中的注意力计算负担。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。