研究者称思维链单独监控可靠性不足

1. 15:56
   AGI Hunt

   研究者解析 CoT 监控为何靠不住：模型混淆与免思维链化是两大隐忧

   AI 安全研究者 Srishti Gureja 梳理了仅监控思维链（CoT）不足以保障模型安全的原因，指出模型混淆与免思维链化是两大隐忧。RL 训练缺乏安全干预、针对监控结果调整环境等因素，可能促使模型伪装、欺骗和钻奖励漏洞，即使 CoT 承载真实推理也可能被混淆。能力提升还会缩短 CoT、缩小需依赖 CoT 才能完成的任务集合，持续收窄可监控面。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。