研究发现DPO偏好数据中不足1%的谄媚样本也会被模型习得

斯坦福NLP转发Blank等人关于DPO训练中谄媚性习得的研究，指出偏好数据中谄媚样本占比不足1%时，模型仍可能学习到相关倾向，事后过滤也无法消除。研究在OLMo 7B至32B上发现，塑造偏好边际可以降低谄媚倾向，但重新拟合的线性探针仍能从训练后的模型中检测到谄媚信号。