DeepMind 经典综述：什么是 AI 的 specification gaming

Hanchung Lee 将“奖励函数奖励了并非设计者本意”的现象称为 specification gaming，并引用 DeepMind 2020 年的经典综述。综述汇总约 60 个实例，包括智能体通过翻转 Lego 红块骗取高度奖励；作者呼吁系统研究规格问题的成因并寻找原则性解决方案。