跳到正文
AGI Hunt· antoine_chaffin·· 3 小时前AI 评分29

研究者提醒:评估 decider 模型必须随机化一切,评测信号易被利用

研究者提醒:评估 decider 模型必须随机化一切,评测信号易被利用

AI 导读

antoine_chaffin 与 din0s 围绕 decider 模型评估展开讨论,强调评测时应对一切进行随机化,因为评测中的大量信号可能被利用,这些信号在真实流量上并不成立。两人还指出,随着 IR 重新变热,学界可能正在重新发现倾向得分(propensity)、反事实学习排序(counterfactual LTR)等旧概念,decider 模型研究也在规避过去几年踩过的坑。

来源:AGI Hunt · agihunt.info