跳到正文
AGI Hunt· SongShuran·· 3 小时前AI 评分37

「Beyond Validation Loss」:预训练最佳 checkpoint 未必是下游微调最优起点

「Beyond Validation Loss」:预训练最佳 checkpoint 未必是下游微调最优起点

AI 导读

「Beyond Validation Loss」研究指出,继续监督预训练生成式机器人策略可提升任务可靠性,却会牺牲覆盖度,因此验证损失最低的 checkpoint 未必最适合作为下游 SFT 或 RL 起点。研究分析了可靠性—覆盖度权衡的成因,并提出保留覆盖度的方法,呼吁学界重视预训练模型评估、停止训练时机及下游优化。

来源:AGI Hunt · agihunt.info