AGI Hunt· juliusadml·· 3 小时前AI 评分46
Bengio 团队:事后补救式安全措施脆弱,安全须从训练期内建
Bengio 团队:事后补救式安全措施脆弱,安全须从训练期内建
AI 导读
Bengio 团队主张,AI 安全措施必须从训练阶段内建,事后补救无法随模型能力增强而可靠扩展。Guide Labs 的研究显示,训练后防御面对轻微且看似无害的测试改动几乎全部失效;训练后再检索“hack”等概念,资源可能超过训练本身。相关论文由 Bengio 等 13 位作者讨论通用 agent 的失控与欺骗风险,并提出以非 agent 的 Scientist AI 作为更安全路径的核心构件。
来源:AGI Hunt · agihunt.info