Redwood称CoT控制评测被提示设计低估
热点事件持续更新
Redwood称CoT控制评测被提示设计低估
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Redwood Research发布实验分析称,CoTControl因提示设计不足,可能严重低估模型控制思维链格式的能力;让Claude Opus 4.6迭代优化提示后,GPT-OSS-120B得分从5.5%升至15%,整体成绩提高约2—3倍。 CoTControl用于测试推理模型能否在思维链中遵守全小写、禁用特定词等约束,现有模型得分普遍为0—30%,厂商据此认为前沿模型难以通过变形思维链规避监控。Redwood建议评测时充分优化提示,但认为结果仍不足以推翻“当前模型尚不能稳定规避CoT监控”的结论。
AI 根据报道生成 · 51 分钟前更新
最新进展10月27日 03:22
Redwood Research:CoT 可控性评测严重欠激发,简单提示优化可提升 2-3 倍报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- AGI HuntRedwood Research:CoT 可控性评测严重欠激发,简单提示优化可提升 2-3 倍
Redwood Research 发现,CoTControl 评测因提示设计不足,可能严重低估模型控制 CoT 的能力,现有模型在该评测中普遍仅得 0-30%。研究人员让 Claude Opus 4.6 迭代提示模板后,GPT-OSS-120B 成绩从 5.5% 升至 15%,整体提升约 2-3 倍以上。Fable 系统卡中 UK AISI 也指出,CoT 可控性对 prompt 高度敏感。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。