港科大团队研究后训练如何改变模型对英语方言的偏好

港科大团队追踪 SFT、DPO、RL 后训练阶段对模型迎合用户语言习惯的影响，发现 DPO 在 10 个开源模型谱系上系统性偏好英式或澳式拼写，而较少采用 AAE 和新加坡英语。团队提出 CAP 偏好数据，通过奖励匹配用户方言密度并对标准英语用户保持标准英语，在未训练特征上提升趋同度，同时不损害指令遵循。