跳到正文
热点事件持续更新

长会话压缩阈值实测:50万token成本更低

1 篇报道1 个报道来源39 分钟前更新

先了解这件事

AI 综述

Eric Buess 实测发现,在长会话中把上下文压缩点设为 50 万 token,每日消耗的 plan 点数约为 100 万设置的三分之一,压缩次数从 100 万设置时的每日 4 次增至 10 次;压缩点设为 25 万时则消耗 19 点、压缩 27 次。 他称,压缩阈值继续提高到 50 万以上后,成本收益递减;每次压缩后需要重新加载约 11万至13万 token,并重写 8万至10万 token,因此更低阈值会增加压缩频率和消耗。

AI 根据报道生成 · 31 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. AGI Hunt
    长会话上下文压缩实测:50 万 token 的 plan 点数约为 100 万设置的三分之一

    Eric Buess 实测发现,长会话的压缩点设为 50 万 token 时,每日消耗的 plan 点数约为 100 万设置的三分之一。压缩点从 25 万升至 100 万时,plan 点数从 19 升至 31,每日压缩次数从 27 降至 4;50 万时分别为 21 点和 10 次,继续提高阈值的收益递减。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。