跳到正文
AGI Hunt· dfrsrchtwts·· 3 小时前AI 评分37

AI 安全研究者 dfrsrchtwts:无法红队测试的安全系统不应部署

研究者:不能红队测试的安全系统,就无法确认其有效

AI 导读

AI 安全研究者 dfrsrchtwts 提出,无法进行红队测试的安全系统不应部署,因为目前尚无成熟科学可用于确认 AI 动机、能力与控制。若安全训练从初始化阶段开始,测试方须构造对抗性初始化,而非训练具有恶意动机的对抗模型,这将显著提升验证难度。

来源:AGI Hunt · agihunt.info