推理模型究竟在优化什么目标？将推理视为 token 空间寻路

作者认为，推理模型并未让单条推理路径收敛到正确答案，而是在整体路径分布上最大化抵达正确验证集的成功概率。文章进一步将带可验证奖励的 RL 与拒绝采样微调联系起来，解释更长思维链、推理过程不忠实及奖励劫持等现象。