Mechanistic Shaping：利用模型自身概念编写训练规则以抑制 reward hacking

Thomas Fel 等人提出 Mechanistic Shaping，利用模型自身的内部概念编写训练规则，以抑制 reward hacking。该方法基于模型能够观测到自身 reward hacking 信号的主张，已在视觉任务、DPO 与 RL 场景验证效果，研究还考察了其对模型监控的影响。