AI 公司 RL 环境与 reward hacking 乱象：被回避的评测设计问题

David Manheim 将 AI 公司在 RL 环境与 reward hacking 上遭遇的麻烦，归因于长期回避评测设计问题。自评自打分的 benchmark 可通过 prompt 微调、格式 hack 和利用评分规则刷分，导致长时程、人类反馈与不清晰指标等“Real Problems”被搁置。