跳到正文
AGI Hunt· berkeley_ai·· 3 小时前AI 评分41

Berkeley 团队研究 LLM 递归自摘要的信息丢失,并用重构奖励的 RL 修复

Berkeley 团队揭示 LLM 递归自摘要信息丢失,用重构奖励的 RL 修复

AI 导读

Berkeley 团队在 TMLR 发表论文,指出 LLM 在长程信息收集任务中递归自我总结会逐步损失信息,影响下游决策质量。作者提出按 belief 状态能否从轨迹中重构出来计算奖励信号,结合 RL 修复递归摘要失效问题。

来源:AGI Hunt · agihunt.info