跳到正文
AGI Hunt· antoine_chaffin·· 2 小时前AI 评分45

研究发现 LLM 评测存在多种偏置,去偏后模型分数反降

研究发现 LLM 评测存在多种偏置,去偏反致分数下降

AI 导读

Hugging Face 开发者 antoinechaffin 指出,LLM 在数值题中常把答案放在极端值,这种偏置会显著影响评测结果。对决策模型去除选项长度偏置后,其 Habermas Machine 得分从 60 分降至 45 分,低于“选最长”启发式的 50%,随机基线约为 24%。

来源:AGI Hunt · agihunt.info