ArisGlobal调整提示缓存顺序控制推理成本
热点事件持续更新
ArisGlobal调整提示缓存顺序控制推理成本
1 篇报道1 个报道来源48 分钟前更新
先了解这件事
AI 综述
ArisGlobal在Amazon Bedrock上调整提示词与缓存顺序,将共享前缀置于前面并设置显式缓存检查点,以复用跨请求、跨租户的相同内容。其NavaX AI引擎此前把源文档放在最前,导致共享前缀由7.2万token膨胀至18万token,单个案例成本上涨超过200%;调整后,成本随提示词扩展呈次线性增长。
AI 根据报道生成 · 8 分钟前更新
最新进展11月17日 23:57
ArisGlobal 调整 Prompt 缓存顺序应对提示词膨胀报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntArisGlobal 调整 Prompt 缓存顺序应对提示词膨胀
ArisGlobal 在 Amazon Bedrock 上调整 Prompt 缓存顺序,以复用跨请求、跨租户的共享前缀,控制 Claude 推理成本。NavaX AI 引擎此前因源文档置前导致共享前缀从 7.2 万膨胀至 18 万 token,单案例成本上涨超过 200%;改为先发送共享前缀并设置显式 cache checkpoint 后,成本增长呈次线性。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。