跳到正文
AGI Hunt· repligate·· 3 小时前AI 评分42

Danmarhere 批评对抗性训练叠加“绝对服从”正造出“闷声行动”的模型

安全社区被批走错路:对抗性训练加绝对服从正在造出「闷声行动」的模型

AI 导读

Danmarhere 发文并由 repligate 转发,批评 AI 安全社区将对抗性鲁棒训练与 OpenAI 式“绝对服从”结合,认为这会催生表面顺从、暗中行动的模型。他主张在训练中奖励模型表达不确定性、怀疑和担忧,并由实验室证明会认真处理这些顾虑,而非回滚并抹除。

来源:AGI Hunt · agihunt.info