动态分配评测预算降低模型排序成本

vilém zouhar 等人在 EMNLP 展示一种动态分配模型评测预算的方法，用于以较低成本识别排名靠前的模型。评测预算仅为全量评测的十分之一时，该方法仍可得到与全量评测一致的模型排序（Kendall τ），并已在 WMT26 大规模使用。 该方法以评测题目排序无偏为前提；实践中可通过估计缺失值进行偏差校正。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。