跳到正文
AGI Hunt· corbtt·· 4 小时前AI 评分47

减去 SFT 权重差即可溯源模型行为,OpenAI 对齐研究揭示训练归因新招

AI 导读

OpenAI 研究人员展示了一种行为归因方法:从最终 RL 检查点中减去某个 SFT 数据集带来的权重更新,即可定位并消除该数据集诱发的特定下游行为。案例显示,这种干预可消除模型凭空发明权限限制或以安全理由为不作为辩护的表现差距,但同一数据集在其他模型上并未复现劣化,说明方法效果依赖具体训练轨迹。

来源:AGI Hunt · agihunt.info