AGI Hunt· pmttyji·· 2 小时前AI 评分47
VHA 注意力方法：KV 缓存减少 4 倍，长上下文 RULER 得分 84.4
VHA 注意力新方法：KV 缓存减 4 倍，长上下文 RULER 84.4 超 GQA 的 73.0
AI 导读
论文提出 Virtual Head Attention（VHA），通过两个轻量线性操作同时优化 KV 缓存、训练/prefill 算力与模型质量。
来源：AGI Hunt · agihunt.info
VHA 注意力方法：KV 缓存减少 4 倍，长上下文 RULER 得分 84.4