清华等提出缓存工程并开源AKV
热点事件持续更新
清华等提出缓存工程并开源AKV
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
清华与港中文团队提出“缓存工程”方法,并基于SGLang开源AKV推理系统;在其Agent长程任务评测中,相比Standard方案,平均推理成本降低27.7%,成功率提升1.7个百分点。 AKV不压缩完整历史文本,而是通过Append、Drop、Repos操作直接管理KV缓存,减少上下文裁剪导致的缓存失效和重复prefill。团队称,在GPT-OSS-120B测试中,系统吞吐量达到Standard的1.18倍,P95延迟缩短约三分之一;RSI实验还显示,由Agent自主迭代缓存策略可比人工设计进一步降低7.1%成本。
AI 根据报道生成 · 57 分钟前更新
最新进展11月17日 18:05
清华等提出缓存工程并开源 AKV,Agent 推理成本降低 27.7%报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI Hunt清华等提出缓存工程并开源 AKV,Agent 推理成本降低 27.7%
清华与港中文团队提出缓存工程 Cache Engineering,并基于 SGLang 开源推理系统 AKV。该方法保留完整历史文本,通过 Append、Drop、Repos 操作直接管理 KV 缓存,避免上下文裁剪造成缓存失效和重复 prefill。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。