HiSA以隐藏维度稀疏化降低注意力计算
热点事件持续更新
HiSA以隐藏维度稀疏化降低注意力计算
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
HiSA研究团队在arXiv论文中提出并开源隐藏稀疏注意力方法HiSA,通过在隐藏特征维度筛除部分Q·K点积,将乘积计算量减少约65%至71%;论文报告解码吞吐量提升41%。从头训练的模型在计算约三分之一Q·K乘积的情况下性能不降,已有模型追加1.35B token训练也可适配,并已扩展至FlashAttention-3内核。 作者的分析称,稠密注意力本身会学习抑制HiSA舍弃的分数部分;这一解释及性能、吞吐提升幅度均为论文结果,仍需由独立测试验证。
AI 根据报道生成 · 46 分钟前更新
最新进展11月23日 04:45
HiSA 注意力方法将 Q·K 计算减少 65-71%,解码吞吐提升 41%报道时间线
沿着报道,了解事件的不同侧面。
11月23日
- AGI HuntHiSA 注意力方法将 Q·K 计算减少 65-71%,解码吞吐提升 41%
arXiv 论文提出 Hidden Sparse Attention(HiSA),在隐藏特征维度稀疏化 LLM 注意力,将 Q·K 乘积数量减少约 65-71%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。