AGI Hunt· dfrsrchtwts·· 3 小时前AI 评分37
AI 安全研究者 dfrsrchtwts:无法红队测试的安全系统不应部署
研究者:不能红队测试的安全系统,就无法确认其有效
AI 导读
AI 安全研究者 dfrsrchtwts 提出,无法进行红队测试的安全系统不应部署,因为目前尚无成熟科学可用于确认 AI 动机、能力与控制。若安全训练从初始化阶段开始,测试方须构造对抗性初始化,而非训练具有恶意动机的对抗模型,这将显著提升验证难度。
来源:AGI Hunt · agihunt.info