跳到正文
AIHOT·· 6 天前AI 评分67

OpenAI 研究预训练、架构与强化学习对 CoT 可监控性的影响

OpenAI 研究:模型生命周期中哪些因素影响 CoT 可监控性

AI 导读

OpenAI 研究了预训练、模型架构、强化学习及模型生成数据对 CoT 可监控性的影响。研究发现,基础模型困惑度下降与无 CoT 能力提升高度相关,强化学习会提高 CoT 可控性,且通过 SFT 使用模型生成数据可传递这种可控性。作者同时强调,CoT 可控性是噪声较大且不完美的监控规避代理指标。

来源:AIHOT · alignment.openai.com