基准难度分布可能扭曲榜单进步判断

一篇 arXiv 论文发现，基准测试题目的难度分布及表述方式会影响模型训练中观测到的分数提升，部分基准可能过度加权特定难度区间，或在难度轴上存在大片空白。 论文据此警告，使用排行榜判断模型进步时，需要结合基准的难度结构谨慎解读评测结论；这一研究针对的是训练过程中观测到的分数变化，并非直接证明现有模型能力被高估或低估。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。