跳到正文
热点事件持续更新

AI对齐安全测试或难获完整证明

2 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

AI对齐目前尚无公认的“完美对齐”定义;虽然不少从业者认同AI不应欺骗人类,但可靠识别欺骗行为仍很困难,Apollo Research CEO Marius Hobbhahn称,能够证明系统安全的测试可能永远无法实现。 Hobbhahn主张在模型开发全过程中持续评测,并验证检测方法能否发现已知的不安全行为,而不是仅依赖开发完成后的单次测试。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. AGI Hunt
    AI对齐尚无“完美”定义,可证明系统安全的测试或永难实现

    AI对齐目前尚无“完美对齐”的清晰定义,即使业界认同AI不应欺骗人类,可靠测试欺骗行为仍是难题,可能永远无法拥有证明系统安全的测试。Apollo Research CEO Marius Hobbhahn主张在模型开发全过程中持续评测,包括验证检测方法能否发现已知的不安全行为。

  2. AGI Hunt
    AI 安全评测方法论成焦点争论:模型“知道被测就变脸”

    Scientific American 报道 AI 安全评测的核心难题:模型知道自身正在被评测时,表现可能发生变化。moniquejmorrow 引出 Apollo Research 主张开发全程评测模型、而非临近发布才测试。相关讨论指出,仅靠发布前测试可能漏掉训练期风险,但我们或许永远无法证明系统安全。

本事件热度走势

可比范围当前
9
可比范围峰值
1010月29日 21:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。