跳到正文
AGI Hunt· remilouf·· 3 小时前AI 评分39

remilouf 吐槽大模型基准测试陋习:单次最优跑分难证更强

单次最优跑分吹模型?研究员吐槽基准测试陋习

AI 导读

研究员 remilouf 指出,大模型发布者常只挑一次且往往是最好的基准测试跑分宣称自家模型更强。他批评当前评测缺乏多次运行的方差报告,认为单次结果不足以支撑模型性能更优的结论。

来源:AGI Hunt · agihunt.info