跳到正文
热点事件持续更新

清华等提出缓存工程并开源AKV

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

清华与港中文团队提出“缓存工程”方法,并基于SGLang开源AKV推理系统;在其Agent长程任务评测中,相比Standard方案,平均推理成本降低27.7%,成功率提升1.7个百分点。 AKV不压缩完整历史文本,而是通过Append、Drop、Repos操作直接管理KV缓存,减少上下文裁剪导致的缓存失效和重复prefill。团队称,在GPT-OSS-120B测试中,系统吞吐量达到Standard的1.18倍,P95延迟缩短约三分之一;RSI实验还显示,由Agent自主迭代缓存策略可比人工设计进一步降低7.1%成本。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    清华等提出缓存工程并开源 AKV,Agent 推理成本降低 27.7%

    清华与港中文团队提出缓存工程 Cache Engineering,并基于 SGLang 开源推理系统 AKV。该方法保留完整历史文本,通过 Append、Drop、Repos 操作直接管理 KV 缓存,避免上下文裁剪造成缓存失效和重复 prefill。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。