Zyphra 发布分层注意力 ZHA：宣称超长上下文提速最高 400 倍

Zyphra 推出分层注意力 ZHA，宣称在 10 亿 token 上下文下较稠密注意力提速约 400 倍，并以逐层压缩 KV cache 的“摘要树”实现次二次注意力。1000 万 token 下较稠密注意力和 MSA 分别快 35 倍、5 倍；转换现有模型需约 40 亿 token，测试覆盖 4B–35B 开源模型。