跳到正文
AGI Hunt· Stunning-Sherbet1853·· 3 小时前AI 评分75

排查并修复本地 Agent 每轮重写历史导致的 KV 缓存失效

本地 Agent 慢的真相:自建 harness 每次调用悄悄打碎 KV 缓存,43% 时间被浪费

AI 导读

一位开发者通过拆分模型耗时与工具等待,发现本地 Agent 自建 harness 每轮重写压缩后的历史,使 KV 缓存失效并浪费 43% 时间。将压缩改为仅在上下文溢出时批量执行后,离线重放的重写次数从 15 次降至 5 次,重读文本减少 61%,同一任务总时长从 721s 降至 541s,且完成质量不变。

来源:AGI Hunt · agihunt.info