研究者主张随机化评估决策模型
热点事件持续更新
研究者主张随机化评估决策模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者 antoine_chaffin 与 din0s 提出，评估 decider 模型时应尽量对测试环境和相关因素进行随机化，以避免模型利用评测中可被钻空子的信号。他们称，这些信号在真实流量中未必成立，因而可能高估模型效果；这一主张目前是研究观点，并非已经得到验证的评估标准。
AI 根据报道生成 · 2 小时前更新
最新进展10月31日 21:38
研究者提醒：评估 decider 模型必须随机化一切，评测信号易被利用报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- AGI Hunt研究者提醒：评估 decider 模型必须随机化一切，评测信号易被利用
antoine_chaffin 与 din0s 围绕 decider 模型评估展开讨论，强调评测时应对一切进行随机化，因为评测中的大量信号可能被利用，这些信号在真实流量上并不成立。两人还指出，随着 IR 重新变热，学界可能正在重新发现倾向得分（propensity）、反事实学习排序（counterfactual LTR）等旧概念，decider 模型研究也在规避过去几年踩过的坑。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。