跳到正文
AGI Hunt· The Decoder·· 2 小时前AI 评分46

英伟达研究:超长上下文是死路,摘要+关键词检索更省钱

英伟达研究称超长上下文是死路,摘要+关键词检索更省钱

AI 导读

英伟达研究人员认为,语言模型使用完整上下文窗口往往既慢又贵,还容易出错。研究提出用周期性摘要与定向关键词检索替代超长上下文,测试中通常能以极低成本达到与全上下文相当的效果,并建议将记忆与检索放在模型外部。

来源:AGI Hunt · agihunt.info