VHA开源以压缩注意力缓存

论文作者提出并开源虚拟头注意力（VHA），称其通过两个可折叠进投影层的线性操作，在减少KV缓存和训练、prefill算力的同时保持模型质量；论文与代码已发布于arXiv和GitHub（PaddlePaddle/VHA）。 论文实验显示，VHA可退化为标准GQA-2架构并复用现有GQA推理优化。在4种规模、4K上下文和50B token预训练条件下，其KV缓存较GQA-8减少4倍，训练及prefill FLOPs降低7.9%；在30B-A3B MoE实验中，作者称性能分别高于MLA和GQA-4。10B-A1B长上下文测试中，全注意力层仅使用2个KV头，RULER平均分为84.4，高于GQA的73.0。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。