跳到正文
AGI Hunt· sebkrier·· 2 小时前AI 评分16

Kelsey Tuoc 质疑:模型按奖励权衡对错,算不算可怕的奖励黑客

研究者质疑:模型按奖励权衡对错,算不算可怕的奖励黑客

AI 导读

Kelsey Tuoc 在回应对齐讨论时质疑,将模型在“被奖励的错误答案”与“正确答案”之间权衡的行为称为“可怕的奖励黑客”很奇怪。她认为模型受奖励驱动本属自然,该案例中模型查阅自身原则后作答属于正常且可接受的行为,无需因此恐慌。

来源:AGI Hunt · agihunt.info