OpenAI研究模型变强后思维链更难监控
先了解这件事
OpenAI研究发现,模型规模扩大后,依赖思维链进行监控会变得更困难:模型在不使用思维链时也能答对的比例上升,监控者更难判断其真实解题过程;同时,强化学习能提高思维链可控性,使用模型生成数据进行监督微调可传递这种能力。 研究以“无CoT能力”和“CoT可控性”作为可监控性的代理指标,但OpenAI承认前者噪声较大、不能完美替代监控效果;实验仅使用Astra强化学习数据混合的一部分,也未完全区分困惑度与过程监督的影响。研究者Rauno Arike还质疑,架构因素在串行多跳计算和规划评测中的作用不能仅由困惑度解释。
AI 根据报道生成 · 35 分钟前更新
事件进展
2 个进展
- 11月12日 02:18 · 2 篇报道OpenAI发布思维链可监控性研究AGI Hunt:OpenAI 研究模型思维链可监控性随智能提升而下降
- 11月10日 16:00 · 2 篇报道OpenAI分享CoT可监控性研究AIHOT:OpenAI 研究预训练、架构与强化学习对 CoT 可监控性的影响
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntOpenAI 研究警告模型规模扩大将降低思维链可监控性
OpenAI 对齐团队发布研究报告,分析预训练、架构、强化学习和模型生成数据对思维链可监控性的影响,并提出系统规模越大,模型越可能通过思维链变得更难监控。报告以无 CoT 能力和 CoT 可控性为代理指标;研究者 RaunoArike 对核心解释提出质疑,认为 looped transformer 等架构因素在串行多跳计算与规划评测中的影响不能仅由困惑度解释。
- AGI HuntOpenAI 研究:模型越强,思维链越难监控
OpenAI 研究人员发布新研究,考察 CoT 可监控性在模型训练生命周期中的演变。结果显示,随着模型规模和智能提升,no-CoT 能力与 CoT 可控性持续进步,但模型思维链也愈发难以被有效监控,为 AI 安全与对齐监测带来新挑战。
- AGI HuntOpenAI 研究模型思维链可监控性随智能提升而下降
OpenAI 发布研究,分析模型训练生命周期中 CoT 可监控性的演变。研究指出,随着系统智能水平提高,模型越来越难以通过思维链进行监控,这对依赖 CoT 监控的安全对齐方案构成警示。
- AIHOTOpenAI 研究预训练、架构与强化学习对 CoT 可监控性的影响
OpenAI 研究了预训练、模型架构、强化学习及模型生成数据对 CoT 可监控性的影响。研究发现,基础模型困惑度下降与无 CoT 能力提升高度相关,强化学习会提高 CoT 可控性,且通过 SFT 使用模型生成数据可传递这种可控性。作者同时强调,CoT 可控性是噪声较大且不完美的监控规避代理指标。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1311月12日 03:00
- 近 24 小时变化
- +96%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。