跳到正文
AGI Hunt· Miserable-Dare5090·· 4 小时前AI 评分43

arXiv 论文:基准测试难度分布失真,榜单结论需谨慎解读

论文:基准测试难度分布失真,榜单结论需谨慎解读

AI 导读

一篇 arXiv 论文发现,基准测试的题目难度分布会影响模型训练中观测到的分数提升,部分基准过度加权特定难度区间,或在难度轴上存在大片空白。论文警示,依赖排行榜判断模型进步时,应谨慎解读其评测结论。

来源:AGI Hunt · agihunt.info