Zyphra发布ZHA并宣称超长上下文提速
热点事件持续更新
Zyphra发布ZHA并宣称超长上下文提速
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zyphra发布分层注意力机制ZHA，通过逐层压缩KV cache构建“摘要树”，官方称其在10亿token上下文下较稠密注意力提速约400倍，并实现次二次注意力；目前该性能尚无独立验证。 官方数据显示，ZHA在1000万token上下文下较稠密注意力和MSA分别快35倍和5倍；将现有模型转换至ZHA约需40亿token，测试覆盖4B至35B参数规模的开源模型。研究员teortaxesTex认为这一方案方向合理、原则性强，并称若判断成立，可能削弱正在秘密研发同类次二次注意力技术的实验室。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 06:24
Zyphra 发布分层注意力 ZHA：宣称超长上下文提速最高 400 倍事件进展
2 个进展
- 11月3日 06:24 · 1 篇报道发布分层注意力机制 ZHAAGI Hunt：Zyphra 发布分层注意力 ZHA：宣称超长上下文提速最高 400 倍
- 11月3日 06:23 · 1 篇报道研究员评价并看好ZHAAGI Hunt：研究员点评 Zyphra 分层注意力 ZHA：原理扎实，或让保密的次二次注意力实验室出局
报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI HuntZyphra 发布分层注意力 ZHA：宣称超长上下文提速最高 400 倍
Zyphra 推出分层注意力 ZHA，宣称在 10 亿 token 上下文下较稠密注意力提速约 400 倍，并以逐层压缩 KV cache 的“摘要树”实现次二次注意力。1000 万 token 下较稠密注意力和 MSA 分别快 35 倍、5 倍；转换现有模型需约 40 亿 token，测试覆盖 4B–35B 开源模型。
- AGI Hunt研究员点评 Zyphra 分层注意力 ZHA：原理扎实，或让保密的次二次注意力实验室出局
研究员 teortaxesTex 评价 Zyphra 发布的分层注意力（ZHA），称其以层级树实现真正的次二次注意力，方向合理、原则性强，并表示若属实将「吹垮那些保密研发次二次注意力的实验室」。ZHA 官方宣称在超长上下文场景下提速最高 400 倍，该帖是对官方发布原文的补充评论。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。