研究者提议部署前须能红队测试
热点事件持续更新
研究者提议部署前须能红队测试
3 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
AI安全研究者dfrsrchtwts提出一项尚未生效的行业准则:无法接受红队测试的安全关键系统不应部署。其称,目前尚无成熟科学能够确认AI的动机、能力和控制,因此红队测试仍是验证安全措施可靠性的手段。 该提议主要针对包含思维链、内部状态和安全训练初始化的系统;由于测试方需要构造对抗性初始化,而非只训练具有恶意动机的对抗模型,真实行为复现和安全措施验证的难度进一步增加。
AI 根据报道生成 · 2 小时前更新
最新进展11月11日 07:15
AI 安全研究者 dfrsrchtwts:无法红队测试的安全系统不应部署报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- AGI HuntAI 安全研究者 dfrsrchtwts:无法红队测试的安全系统不应部署
AI 安全研究者 dfrsrchtwts 提出,无法进行红队测试的安全系统不应部署,因为目前尚无成熟科学可用于确认 AI 动机、能力与控制。若安全训练从初始化阶段开始,测试方须构造对抗性初始化,而非训练具有恶意动机的对抗模型,这将显著提升验证难度。
- AGI HuntAI 安全研究者倡议:无法红队测试的安全系统不应部署
AI 安全研究者 dfrsrchtwts 提出行业准则:不要建造无法进行红队测试的安全关键系统。其理由是,当前尚无成熟的 AI 动机、能力和控制科学,红队测试是验证安全措施可靠性的唯一手段,无法接受测试的系统因而无法确认有效,不应部署。
- AGI Hunt安全研究者 dfrsrchtwts 提出:无法红队测试的安全关键系统不应部署
安全研究者 dfrsrchtwts 提出行业准则:不要部署无法进行红队测试的安全关键系统。其理由是,安全系统覆盖 CoT、内部状态和安全训练初始化等环节后,红队复现真实 AI 行为与构造对抗样本的空间缩小,测试有效性可能下降。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。