冻结快照回放提升GPT-2旧知识保持率
热点事件持续更新
冻结快照回放提升GPT-2旧知识保持率
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Junior_Reputation639公布并分享了一项GPT-2小规模实验结果:全参微调模型学习新事实时,不做回放的旧知识保持率为6%;从冻结保存副本生成回放样本后,保持率升至58%。实验先让124M参数模型学习120条虚构事实,再以每批次25%的比例回放训练120步,取3个种子平均。 回放来源影响效果。反复使用正在训练的模型生成回放时,旧知识保持率仅为9%,且生成内容逐渐变成假事实。该实验显示,保留冻结副本并据其生成回放,可在此次小规模设置中缓解灾难性遗忘。
AI 根据报道生成 · 1 小时前更新
最新进展11月21日 19:28
让 GPT-2「睡觉」:冻结快照回放将旧知识保持率从 6% 提升至 58%报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI Hunt让 GPT-2「睡觉」:冻结快照回放将旧知识保持率从 6% 提升至 58%
一项基于 GPT-2(124M)的小规模实验验证了「睡眠式生成回放」可缓解灾难性遗忘:无回放时旧知识保持率为 6%,从冻结保存副本生成梦境回放后提升至 58%。实验使用 120 条虚构事实、每批次 25% 回放并取 3 个种子平均,训练中模型反复生成仅达到 9%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。