跳到正文
AGI Hunt· gleech·· 4 小时前AI 评分30

Adam Scholl:容易造基准的任务也容易拿来训练,可量化即可能被刷分

容易造基准的任务也容易拿来训练:可量化即可能被刷分

AI 导读

Adam Scholl 指出,容易进行基准评测的任务与容易用于训练的任务具有很大共性,量化指标很可能通过针对性训练被抬高。性能可被数值化衡量时,训练大概率能推高该指标,这也解释了基准分数为何常与真实能力脱节。

来源:AGI Hunt · agihunt.info