跳到正文
AGI Hunt· HamelHusain·· 2 小时前AI 评分63

Hamel Husain 揭公开 AI 基准评测五大通病:靠背答案才能涨分

AI 导读

评测咨询公司 Eccentric 的 Hamel Husain 警告,基于低质量公开 benchmark 宣传模型可能诱导应试化涨分。他列出五类问题:测试过窄、测试过宽、评测脚手架质量差、ground truth 由另一个模型生成,以及只考察答案格式而不考察内容正确性。

来源:AGI Hunt · agihunt.info