当任务只能在真实世界验证：RL 的终局形态与 RLHF 轶事

RL 的奖励信号可能从人工评估转向真实世界结果，例如 PR 是否被大型仓库维护者合并、期权交易是否盈利。早期 RLHF 需标注员在策略训练时实时打分，因人员调度困难甚至拖慢任务训练。