哈佛、MIT 等机构论文解析 CoT 可控性的开头 token 熵坍缩

哈佛、剑桥波士顿对齐倡议与 MIT 的论文《The First Few Tokens Matter》指出，CoT 可控性受限主要与思维链开头几个 token 的熵坍缩有关。禁用高频开场 token 并加入上下文示例，可使跨多个模型的平均合规度提升 34–41 个百分点；添加与改写类干预更稳定，省略信息类控制的响应则不一致。