跳到正文
AGI Hunt· _reachsumit·· 3 小时前AI 评分50

生成式推荐器 RL 后训练的隐性代价:排序更强、召回更差

研究发现 RL 后训练隐性代价:生成式推荐器排序更强、召回更差

AI 导读

研究发现,生成式推荐器经 SFT 后再进行 RL 后训练,在全部五个研究数据集上提升了小 K 的 hit@K,却降低了数百 K 的 hit@K。原因是 RL 将采样候选之外的所有 item 视作错误答案,误罚合理替代项,使其从相似用户候选列表中消失。out-of-rollout anchoring 通过增加损失项保留 rollout 之外 item 的排序,可兼顾头部收益与召回表现。

来源:AGI Hunt · agihunt.info