LLM 对话编辑的 prefix caching 隐藏成本与规避方法

文章详解 LLM 对话中的 prefix caching 机制，以及编辑聊天记录带来的隐性代价。未变化的对话前缀通常按正常输入价的 10% 计费，但修改任意历史 token 会使后续内容的位置偏移并导致缓存失效；改开头时缓存命中率为 0%，中间删除一条仅保留 34%，只在末尾修剪或追加可保留 90%。在模型 API 直接暴露缓存控制前，可保持 prompt 开头静态，将改动放在上下文末尾。