AGI Hunt· dfrsrchtwts·· 2 小时前AI 评分44
Kokotajlo 质疑 CoT 监控性评测:如果模型不拒绝篡改思维链呢
Kokotajlo 质疑 CoT 监控性评测:如果模型不拒绝篡改思维链呢
AI 导读
OpenAI 研究员 Daniel Kokotajlo 质疑 CoT 监控性评测,要求验证模型拒绝篡改思维链的表现是否足够可靠。论文通过提示模型篡改 CoT 并关闭推理测试来评估监控能力,Kokotajlo 则呼吁提供“竭尽全力篡改 CoT 也做不到”的更强证据,甚至可证明的保证。
来源:AGI Hunt · agihunt.info