AGI Hunt· Junior_Reputation639·· 2 小时前AI 评分40
让 GPT-2「睡觉」:冻结快照回放将旧知识保持率从 6% 提升至 58%
让 GPT-2「睡觉」:冻结快照回放让旧知识保持率从 6% 提到 58%
AI 导读
一项基于 GPT-2(124M)的小规模实验验证了「睡眠式生成回放」可缓解灾难性遗忘:无回放时旧知识保持率为 6%,从冻结保存副本生成梦境回放后提升至 58%。实验使用 120 条虚构事实、每批次 25% 回放并取 3 个种子平均,训练中模型反复生成仅达到 9%。
来源:AGI Hunt · agihunt.info