AGI Hunt· khademinori·· 2 小时前AI 评分49
NVIDIA 论文:频繁压缩上下文可省 3.6-7 倍 token 成本
AI 导读
NVIDIA 研究人员发表论文《You don't need long context》,提出通过频繁上下文压缩保留任务状态,并在需要时开启新上下文。实测显示,上下文从 16K 增至 256K 时,GLM、Kimi K2.6 和 Qwen 3 Coder Next 每生成 token 的服务成本分别升至 3.6 倍、5.6 倍和 7 倍。
来源:AGI Hunt · agihunt.info