等算力实验显示稠密过程奖励未优于标准 GRPO

arXiv 论文《Are Dense Rewards Worth Their Tokens in GRPO?》在生成 token 数与 GPU 时长均相同的协议下，通过 1668 次运行系统比较稠密过程奖励与标准 GRPO。实验结果显示，稠密过程奖励反而跑不赢标准 GRPO 的稀疏奖励，质疑了其在 GRPO 训练中的实际价值。