BellowsKV以跨层共享压缩KV缓存

Rice University 的论文提出 BellowsKV 方法：让相邻层共享每个 token 的隐表示，再通过各层特有的投影读取自己的 K/V，从而压缩长上下文和多步 Agent 任务中的 KV 缓存占用。 其思路是把原本每层各自保存一份的键值缓存改为跨层共用一份底层表示，需要哪一层的信息再由该层的投影还原，从而减少缓存规模。论文称这一做法可降低长上下文与多步 Agent 任务的缓存开销。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。