AGI Hunt· StellaLisy·· 2 小时前AI 评分36
VFold 论文:跨层对称性压缩 value cache,节省一半内存并保持超过 98% 性能
VFold 论文:跨层对称性压缩 value cache,省一半内存保 98% 性能
AI 导读
Johns Hopkins 与 George Mason 团队发布 VFold 论文,提出对称感知的跨层 value cache 合并策略,将 value cache 压缩一半并保持超过 98% 的全缓存性能。该方法可与高比率量化或 key cache 剪枝叠加,无需修改 LLM 架构,在降低解码性能损失与架构开销的同时,为内存受限场景扩展上下文窗口提供方向。
来源:AGI Hunt · agihunt.info