跳到正文
AGI Hunt· JacquesThibs·· 3 小时前AI 评分43

AI 对齐工程化不足:行为训练粗糙,红队任务易被护栏误伤

红队任务被护栏误伤:对齐仍缺工程化科学,行为训练太粗糙

AI 导读

JacquesThibs 指出,现有 AI 对齐方法尚未形成可精确“插槽式”植入系统的工程学科,仍主要依赖混乱的行为训练。具体案例显示,模型因红队任务与越狱、网络攻击内容重叠而将其视为敏感内容,导致安全研究场景也可能被安全护栏拒绝操作。

来源:AGI Hunt · agihunt.info