跳到正文
热点事件持续更新

HiSA以隐藏维度稀疏化降低注意力计算

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

HiSA研究团队在arXiv论文中提出并开源隐藏稀疏注意力方法HiSA,通过在隐藏特征维度筛除部分Q·K点积,将乘积计算量减少约65%至71%;论文报告解码吞吐量提升41%。从头训练的模型在计算约三分之一Q·K乘积的情况下性能不降,已有模型追加1.35B token训练也可适配,并已扩展至FlashAttention-3内核。 作者的分析称,稠密注意力本身会学习抑制HiSA舍弃的分数部分;这一解释及性能、吞吐提升幅度均为论文结果,仍需由独立测试验证。

AI 根据报道生成 · 46 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    HiSA 注意力方法将 Q·K 计算减少 65-71%,解码吞吐提升 41%

    arXiv 论文提出 Hidden Sparse Attention(HiSA),在隐藏特征维度稀疏化 LLM 注意力,将 Q·K 乘积数量减少约 65-71%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。