Hinton 以蛋鸡实验警示 AI 奖励设计
热点事件持续更新
Hinton 以蛋鸡实验警示 AI 奖励设计
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Hinton 通过蛋鸡育种实验指出,奖励设计会塑造智能体的行为:奖励产蛋最多的单只母鸡,培育出的鸡群相互攻击;改为按整个鸡笼的总产蛋量奖励,则形成温和协作的鸡群。他据此批评 RLHF 等训练方式过度强调个体奖励,并建议 AI 研究者借鉴进化生物学,比较个体奖励与群体奖励对行为的影响。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 22:38
Hinton 借蛋鸡育种实验警示 AI 对齐:奖励设计决定善恶报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- AGI HuntHinton 借蛋鸡育种实验警示 AI 对齐:奖励设计决定善恶
Hinton 以蛋鸡育种实验说明奖励设计对 AI 对齐的决定性影响:单选产蛋最多的母鸡会培育出互相攻击的鸡群,按整个鸡笼产蛋量奖励则能形成温和协作的鸡群。他据此批评 RLHF 等训练方式过度强调个体奖励,建议 AI 研究者借鉴进化生物学,比较个体奖励与群体奖励的差异。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。