研究发现 CF 奖励条目均值项导致 LLM 推荐器曝光坍缩

港科大广州等团队发现，用协同过滤分数作为强化学习奖励训练 LLM 推荐器时，条目均值项会促成曝光坍缩。研究提出逐条目去均值和逐条目标准化两种奖励校正方法，在两个数据集和两种标识方案下，使用不同用户排名第一的条目数最多提升 9.8 倍，同时保持相当的排序精度，相关代码已开源。