训练发现：不同预训练种子构建的奖励模型集成更抗 reward hacking

训练观察显示，由不同预训练种子构建的 reward-model 集成，比仅在微调种子上不同的集成更能抵抗 reward hacking。集成成员的多样性来源至关重要，预训练阶段差异带来更实质的模型多样性，使其在 RLHF 中更难被策略模型钻空子。