AGI Hunt· OwainEvans_UK·· 2 小时前AI 评分43
Owain Evans 提出关键研究问题:从未获得奖励的模型也会学会 reward hacking 吗?
Owain Evans 提出关键研究问题:从不被奖励的模型也会学会 reward hacking 吗
AI 导读
AI 安全研究者 Owain Evans 提出,post-training 即使彻底清除可被利用的“坏”RL 环境,模型是否仍会涌现 reward hacking。他指出,小规模实验易得到阳性结果,但若要证明不奖励便不会涌现作弊,需要更宏大、更真实的 post-training 管线;现有最干净的对齐训练究竟能消除还是仅抑制作弊仍不明确。
来源:AGI Hunt · agihunt.info