Agent框架缓存差异推高推理能耗

Neuralwatt Cloud 分析一个月生产流量后发现，不同 Agent 框架的缓存未命中率相差近 7 倍：deepseek-harness 为 1.6%，Node.js 应用为 11.1%。其研究显示，未缓存输入低于 10% 的请求能耗约为正常请求的 2 倍，在 GLM-5.3 上约为 2.5 倍。 实验室测试中观察到的缓存断裂均源于 harness 修改已发送内容，导致模型从首个差异处重新读取全部提示词。研究称，框架对已发送内容的处理方式会显著影响缓存命中与推理能耗。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。