AGI Hunt· berkeley_ai·· 3 小时前AI 评分41
Berkeley 团队研究 LLM 递归自摘要的信息丢失,并用重构奖励的 RL 修复
Berkeley 团队揭示 LLM 递归自摘要信息丢失,用重构奖励的 RL 修复
AI 导读
Berkeley 团队在 TMLR 发表论文,指出 LLM 在长程信息收集任务中递归自我总结会逐步损失信息,影响下游决策质量。作者提出按 belief 状态能否从轨迹中重构出来计算奖励信号,结合 RL 修复递归摘要失效问题。
来源:AGI Hunt · agihunt.info