arXiv 论文：测试集会过期，神经检索已逼近人类标注员水平

Andrew Parry 等人的论文研究神经检索测试集的相关性标注与“保质期”，并重新标注 TREC 2019 Deep Learning track 的相关性判断。研究发现，标注员分歧仍不影响系统排名，但部分模型在新标注下性能显著下降，部分模型已达到人类标注员作为排序者的水平；测试集需定期更新以避免过拟合单一相关性解释。