RLHF 标量奖励为何难解有用与无害的对立

一篇借古希腊哲学家恩培多克勒框架分析 RLHF 的长文认为，有用性与无害性是对立的两股力，偏好训练将二者压缩为单一标量奖励。标量化可能引发讨好、免责声明堆叠和拒答不一致，且难以在推理时审查目标仲裁。