AGI Hunt· NVIDIAAI·· 2 小时前AI 评分57
NVIDIA 发布长上下文推理稀疏注意力设计指南
NVIDIA 发布稀疏注意力八条设计准则,Top-k 复用提速 2.4 倍
AI 导读
NVIDIA 技术博客发布长上下文推理的稀疏注意力协同设计指南,聚焦将完整 key 打分成本转移至 indexer 后的优化方法。指南提出 indexer 批量矩阵乘法、128/256 维 head、FP16 累加、压缩分层索引、融合与选择复用等设计,并称复用解码选择可使 Top-k 提速 2.1x–2.4x。
来源:AGI Hunt · agihunt.info