跳到正文
AGI Hunt· 机器之心·· 2 小时前AI 评分51

清华等提出缓存工程并开源 AKV,Agent 推理成本降低 27.7%

清华等提出缓存工程替代上下文工程,Agent 推理成本降 27.7%

AI 导读

清华与港中文团队提出缓存工程 Cache Engineering,并基于 SGLang 开源推理系统 AKV。该方法保留完整历史文本,通过 Append、Drop、Repos 操作直接管理 KV 缓存,避免上下文裁剪造成缓存失效和重复 prefill。

来源:AGI Hunt · agihunt.info