跳到正文
热点事件持续更新

ArisGlobal调整提示缓存顺序控制推理成本

1 篇报道1 个报道来源48 分钟前更新

先了解这件事

AI 综述

ArisGlobal在Amazon Bedrock上调整提示词与缓存顺序,将共享前缀置于前面并设置显式缓存检查点,以复用跨请求、跨租户的相同内容。其NavaX AI引擎此前把源文档放在最前,导致共享前缀由7.2万token膨胀至18万token,单个案例成本上涨超过200%;调整后,成本随提示词扩展呈次线性增长。

AI 根据报道生成 · 8 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    ArisGlobal 调整 Prompt 缓存顺序应对提示词膨胀

    ArisGlobal 在 Amazon Bedrock 上调整 Prompt 缓存顺序,以复用跨请求、跨租户的共享前缀,控制 Claude 推理成本。NavaX AI 引擎此前因源文档置前导致共享前缀从 7.2 万膨胀至 18 万 token,单案例成本上涨超过 200%;改为先发送共享前缀并设置显式 cache checkpoint 后,成本增长呈次线性。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。