清华与港中文开源智能体缓存服务AKV

清华大学与香港中文大学研究者开源AKV，这是一套构建于SGLang、面向大语言模型智能体的KV缓存服务系统及策略库，不包含模型权重，可让智能体删除、重定位缓存条目而无需改写文本历史。 在3个模型和4项智能体基准测试中，相比阈值摘要方案，AKV平均任务得分提高1.7分、等效平均成本降低27.7%；其中成本依据公开费率折算，并非实际账单降幅。代码采用Apache-2.0许可。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。