JSSA 稀疏注意力方案开源
热点事件持续更新
JSSA 稀疏注意力方案开源
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
JSSA 研究团队提出并开源 token 级稀疏注意力方案 Joint Subspace Sparse Attention（JSSA），通过学习共享的低维 query–key 子空间，减少长上下文大模型解码时的 KV-cache 访存压力。论文称，该方案无需训练即可达到模型原生 DSA 的推理准确率；在 NVIDIA B200 上，128K 上下文解码吞吐最高提升 6.43 倍，在 700B 模型规模下达到原生 DSA 吞吐的 96%—99%。代码已发布至 GitHub，论文见 arXiv。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 16:08
JSSA 稀疏注意力：128K 上下文解码吞吐最高提升 6.43 倍报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntJSSA 稀疏注意力：128K 上下文解码吞吐最高提升 6.43 倍
论文提出 JSSA 稀疏注意力，通过学习共享低维 query–key 子空间缓解长上下文 LLM 的 KV-cache 访存瓶颈。该方案免训练即可达到模型原生 DSA 的推理准确率，在 NVIDIA B200 上实现 128K 上下文解码吞吐最高 6.43×，并在 700B 规模下达到其 96–99% 吞吐，代码开源于 GitHub，论文见 arXiv。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。