跳到正文
热点事件持续更新

NVIDIA研究频繁压缩上下文以降低成本

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

NVIDIA研究人员发表论文《You don't need long context》,提出通过频繁压缩上下文保留任务状态、按需开启新上下文,替代持续扩大上下文窗口。 论文称,在H100按需租用价格折算下,上下文从16K增至256K时,GLM 5.2、Kimi K2.6和Qwen 3 Coder Next每生成token的服务成本分别升至3.6倍、5.6倍和7倍;多种长时程与长输入任务中,模型精度几乎未受影响,长时程软件工程表现也未明显下降。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    NVIDIA 论文:频繁压缩上下文可省 3.6-7 倍 token 成本

    NVIDIA 研究人员发表论文《You don't need long context》,提出通过频繁上下文压缩保留任务状态,并在需要时开启新上下文。实测显示,上下文从 16K 增至 256K 时,GLM、Kimi K2.6 和 Qwen 3 Coder Next 每生成 token 的服务成本分别升至 3.6 倍、5.6 倍和 7 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。