Cost-Aware GRPO：按信息量与成本加权采样，降低语言模型 RL 训练算力开销

Andriy Burkov 介绍 Cost-Aware GRPO，通过按信息量与处理成本对样本加权，在更低总算力下达到目标模型性能。实验以回复长度作为成本代理、回复 advantage 绝对值作为信息量估计，避免单纯减少训练步数造成性能损失。