跳到正文
AGI Hunt· AWS ML Blog·· 1 小时前AI 评分73

ArisGlobal 调整 Prompt 缓存顺序应对提示词膨胀

ArisGlobal 反转 Prompt 缓存顺序,抵御提示词膨胀 200% 成本上涨

AI 导读

ArisGlobal 在 Amazon Bedrock 上调整 Prompt 缓存顺序,以复用跨请求、跨租户的共享前缀,控制 Claude 推理成本。NavaX AI 引擎此前因源文档置前导致共享前缀从 7.2 万膨胀至 18 万 token,单案例成本上涨超过 200%;改为先发送共享前缀并设置显式 cache checkpoint 后,成本增长呈次线性。

来源:AGI Hunt · agihunt.info