RLVR 采样器不匹配与熵崩溃：新论文揭示根源

新论文将 RLVR 训练中的熵崩溃或爆炸归因于采样器不匹配造成的系统性熵漂移。实验显示，token 重要性比率贡献 98% 的漂移，四个被截断的 minibatch 更新可使 per-batch 偏差放大七倍。在一个 9B 推理模型上，修正方法在十步内将 held-out 准确率提升 8.2 和 8.8 个百分点。