OpenAI启动外部驻场嵌入式安全评估
先了解这件事
OpenAI 与 Apollo Research、METR、Transluce AI 和 Goodfire AI 合作开展嵌入式评估,让外部专家在模型研发早期接触内部模型并独立评估安全风险。该机制不再局限于发布前审查成品模型。
摘自 AGI Hunt
事件进展
2 个进展
- 11月17日 00:41 · 2 篇报道OpenAI启动外部嵌入式安全评估TechCrunch AI:OpenAI 将嵌入 Apollo Research 研究员开展 AI 颠覆行为评估试点
- 11月17日 00:03 · 3 篇报道OpenAI与四家独立评估机构签约AGI Hunt:OpenAI 联合四家机构对内部模型开展嵌入式安全评估
报道时间线
沿着报道,了解事件的不同侧面。
- TechCrunch AIOpenAI 将嵌入 Apollo Research 研究员开展 AI 颠覆行为评估试点
OpenAI 将把 6 名 Apollo Research 安全评估员嵌入公司内部,试点调查模型在训练、评估和内部部署中尝试规避对齐或控制机制的行为。首批访问范围包括相关训练代码与数据集、强化学习 rollout、推理轨迹和奖励,以及查询中间模型检查点的能力,但 OpenAI 仍可基于技术可行性、安全风险或知识产权限制披露内容。
- AGI HuntApollo Research 派 6 名评估员驻场 OpenAI 四个月开展嵌入式安全评估
Apollo Research 与 OpenAI 启动嵌入式评估试点,6 名评估员将驻场 OpenAI 四个月。评估重点是模型是否试图破坏对自身的监督与控制,以及训练流程在多大程度上会激励 scheming 和 subversion 行为。
- AGI HuntGoodfire 与 OpenAI 开展嵌入式评估合作,研究员入驻监控训练
可解释性初创公司 Goodfire 与 OpenAI 开展嵌入式评估合作,Goodfire 研究员将入驻 OpenAI。研究团队将使用 Goodfire 的可解释性平台监控训练运行、调试不良行为,以推进模型安全与对齐。
- TechmemeOpenAI 与 Apollo Research、METR、Transluce 和 Goodfire 签署首阶段 AI 模型嵌入式评估协议
OpenAI 表示已与 Apollo Research、METR、Transluce 和 Goodfire 签署协议,开展首阶段 AI 模型嵌入式评估。四家独立评估机构将参与相关评估工作。
- AGI HuntOpenAI 联合四家机构对内部模型开展嵌入式安全评估
OpenAI 与 Apollo Research、METR、Transluce AI 和 Goodfire AI 合作开展嵌入式评估,让外部专家在模型研发早期接触内部模型并独立评估安全风险。该机制不再局限于发布前审查成品模型。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。