研究者质疑OOD重排结论及Touché评测
热点事件持续更新
研究者质疑OOD重排结论及Touché评测
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者引用一篇论文反驳既有结论，称论证实际表明：OOD 弱决策模型在重排任务中即使不使用困惑度，表现也几乎与专门调优的 pointwise ranker 一样好。 该研究者还指出，Touché 等评测采用的相关性判断（qrels）存在问题，导致评分偏低；其称，即使排除严重损坏的 qrels，只要正确界定被评测的相似度度量，看似异常的重排任务也能完成。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 14:38
研究者驳论文结论：OOD 无困惑度模型重排表现不差，Touché 评测基准存在问题报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI Hunt研究者驳论文结论：OOD 无困惑度模型重排表现不差，Touché 评测基准存在问题
研究者引用一篇论文指出，其论证实际支持了与前提相反的结论：OOD 弱决策模型（不用 perplexity）在重排任务上几乎与专门调优的 pointwise ranker 一样好。研究认为，Touché 等评测的 qrels（相关性判断）本身存在问题并给出偏低分数；即使排除严重损坏的 qrels，只要正确定义被评测的相似度度量，看似奇怪的重排任务也能被解决。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。