跳到正文
AGI Hunt· jessi_cata·· 2 小时前AI 评分39

对齐观点:模型“求奖励”属于行为层面的约束,类比 AlphaGo 近似纳什均衡

对齐观点:模型『求奖励』是行为层面的,如 AlphaGo 近似纳什均衡

AI 导读

这场对齐讨论提出,模型“求奖励”应被视为行为层面的可检验约束,而非模型内在偏好或欲望,类比 AlphaGo 在近似纳什均衡下落子。训练片段虽会强力约束模型相对基础分布的行为,但这一表述只针对任务度量,不能据此规定全部行为或塑造特定形态的后继者。

来源:AGI Hunt · agihunt.info