跳到正文
AGI Hunt· nvidia·· 3 小时前AI 评分45

NVIDIA 研究:频繁上下文压缩可保长任务准确率,长上下文模型或非必需

AI 导读

NVIDIA 论文「You don't need long context」提出,对长程与长输入任务频繁进行上下文压缩(context compaction)即可保持任务准确率。论文比较了积累完整历史(FHA)、达到阈值时压缩(EoCC)与每次动作后压缩(SAC)三种机制,实验显示频繁压缩能保留长任务表现,暗示专用长上下文语言模型可能并非必要。

来源:AGI Hunt · agihunt.info