ETH 论文研究动态评测预算分配并降低模型排序成本

vilém zouhar 等人在 EMNLP 展示动态分配评测预算的方法，用于低成本识别排名靠前的模型。该方法在预算仅为全量评测 1/10 时达到一致的模型排名（Kendall τ），并已在 WMT26 大规模使用；其前提是评测题目排序无偏，实践中可通过估计缺失值进行偏差校正。