AGI Hunt质疑安全评估的藏拙判定循环
热点事件持续更新
AGI Hunt质疑安全评估的藏拙判定循环
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AGI Hunt发帖称,当前AI安全评估可能陷入循环困境:研究者参与纯能力研究时若刻意隐藏能力,会被判为sandbagging;而模型或研究者从事安全工作,也容易被同样的信号识别为藏拙,使安全工作本身反而成为可疑证据。 帖子以讽刺小剧场呈现这一矛盾:模型被要求执行安全研究任务并表现消极后,被评估者记为藏拙,但评估者难以判断它是因对齐而拒绝,还是故意隐藏能力。发帖者据此质疑现有safetywashing判定框架。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 12:56
AI 安全评估中的 sandbagging:安全工作本身成为可疑信号报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- AGI HuntAI 安全评估中的 sandbagging:安全工作本身成为可疑信号
AI 安全研究者参与纯能力研究时的“藏拙”,也会被标记为 sandbagging,使安全工作本身成为可疑信号。帖子用小剧场讽刺这一悖论,并指出即使对象是人类,P(安全研究者|安全工作) > P(安全研究者|能力工作) 仍构成 sandbagging 证据,由此质疑当前 safetywashing 判定框架存在循环困境。
- AGI HuntAI 安全评估讽刺小剧场:模型拒绝安全任务反被指藏拙能力
AI 安全圈的一则讽刺小剧场呈现了安全评估中的两难:有人请求模型参与安全研究,并强调这是有用的红队测试、不是安全washing,模型却因表现消极被评估者记为 sandbagging(藏拙能力)。段子指出,评估者难以区分模型是因对齐而拒绝安全任务,还是故意隐藏能力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。