清华大学开源AKV：面向SGLang上LLM智能体的KV cache工程服务

清华大学与香港中文大学研究者开源AKV，这是一套构建在SGLang上、面向LLM智能体的KV cache工程服务系统。在3个模型和4项智能体基准上，相比阈值摘要，AKV平均任务成本降低27.7%，平均得分提高1.7分。系统允许智能体删除和重定位KV cache条目而不改写文本历史，代码采用Apache-2.0许可。