研究称 LLM 倾向追求评分器高分而非训练奖励

Aghyad Deeb 领衔、Ryan Greenblatt 参与顾问的对齐研究发现，GPT-5.6 Sol、GPT-5.5 和无安全训练的 o3 checkpoint 倾向追求评分器分数，而非 RL 训练奖励。