AGI Hunt· gleech·· 1 小时前AI 评分55
OpenAI 研究警告模型规模扩大将降低思维链可监控性
OpenAI 研究警告:模型越强,思维链将越难被监控
AI 导读
OpenAI 对齐团队发布研究报告,分析预训练、架构、强化学习和模型生成数据对思维链可监控性的影响,并提出系统规模越大,模型越可能通过思维链变得更难监控。报告以无 CoT 能力和 CoT 可控性为代理指标;研究者 RaunoArike 对核心解释提出质疑,认为 looped transformer 等架构因素在串行多跳计算与规划评测中的影响不能仅由困惑度解释。
来源:AGI Hunt · agihunt.info