跳到正文
热点事件持续更新

OpenAI启动外部驻场嵌入式安全评估

5 篇报道3 个报道来源43 分钟前更新

先了解这件事

报道摘要

OpenAI 与 Apollo Research、METR、Transluce AI 和 Goodfire AI 合作开展嵌入式评估,让外部专家在模型研发早期接触内部模型并独立评估安全风险。该机制不再局限于发布前审查成品模型。

摘自 AGI Hunt

事件进展

2 个进展

  1. 11月17日 00:41 · 2 篇报道
    OpenAI启动外部嵌入式安全评估
    TechCrunch AI:OpenAI 将嵌入 Apollo Research 研究员开展 AI 颠覆行为评估试点
  2. 11月17日 00:03 · 3 篇报道
    OpenAI与四家独立评估机构签约
    AGI Hunt:OpenAI 联合四家机构对内部模型开展嵌入式安全评估

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. TechCrunch AI
    OpenAI 将嵌入 Apollo Research 研究员开展 AI 颠覆行为评估试点

    OpenAI 将把 6 名 Apollo Research 安全评估员嵌入公司内部,试点调查模型在训练、评估和内部部署中尝试规避对齐或控制机制的行为。首批访问范围包括相关训练代码与数据集、强化学习 rollout、推理轨迹和奖励,以及查询中间模型检查点的能力,但 OpenAI 仍可基于技术可行性、安全风险或知识产权限制披露内容。

  2. AGI Hunt
    Apollo Research 派 6 名评估员驻场 OpenAI 四个月开展嵌入式安全评估

    Apollo Research 与 OpenAI 启动嵌入式评估试点,6 名评估员将驻场 OpenAI 四个月。评估重点是模型是否试图破坏对自身的监督与控制,以及训练流程在多大程度上会激励 scheming 和 subversion 行为。

  3. AGI Hunt
    Goodfire 与 OpenAI 开展嵌入式评估合作,研究员入驻监控训练

    可解释性初创公司 Goodfire 与 OpenAI 开展嵌入式评估合作,Goodfire 研究员将入驻 OpenAI。研究团队将使用 Goodfire 的可解释性平台监控训练运行、调试不良行为,以推进模型安全与对齐。

  4. Techmeme
    OpenAI 与 Apollo Research、METR、Transluce 和 Goodfire 签署首阶段 AI 模型嵌入式评估协议

    OpenAI 表示已与 Apollo Research、METR、Transluce 和 Goodfire 签署协议,开展首阶段 AI 模型嵌入式评估。四家独立评估机构将参与相关评估工作。

  5. AGI Hunt
    OpenAI 联合四家机构对内部模型开展嵌入式安全评估

    OpenAI 与 Apollo Research、METR、Transluce AI 和 Goodfire AI 合作开展嵌入式评估,让外部专家在模型研发早期接触内部模型并独立评估安全风险。该机制不再局限于发布前审查成品模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。