跳到正文
AGI Hunt· i_dg23·· 3 小时前AI 评分49

Hinton 借蛋鸡育种实验警示 AI 对齐:奖励设计决定善恶

AI 导读

Hinton 以蛋鸡育种实验说明奖励设计对 AI 对齐的决定性影响:单选产蛋最多的母鸡会培育出互相攻击的鸡群,按整个鸡笼产蛋量奖励则能形成温和协作的鸡群。他据此批评 RLHF 等训练方式过度强调个体奖励,建议 AI 研究者借鉴进化生物学,比较个体奖励与群体奖励的差异。

来源:AGI Hunt · agihunt.info