跳到正文
AGI Hunt· Promptmethus·· 1 小时前AI 评分47

HiSA 注意力方法将 Q·K 计算减少 65-71%,解码吞吐提升 41%

HiSA 注意力方法砍掉 65-71% Q·K 计算,解码吞吐提升 41%

AI 导读

arXiv 论文提出 Hidden Sparse Attention(HiSA),在隐藏特征维度稀疏化 LLM 注意力,将 Q·K 乘积数量减少约 65-71%。

来源:AGI Hunt · agihunt.info