跳到正文
AGI Hunt· antoine_chaffin·· 3 小时前AI 评分52

antoine_chaffin 警告选项设置偏差可能掩盖 LLM 真实缺陷

研究者警告:选项设置偏差让 LLM 评测成绩掩盖真实缺陷

AI 导读

研究者 antoine_chaffin 警告,依赖评测设置匹配的 LLM 可能在真实使用中暴露缺陷。其以数值题干扰项为例指出,模型常把极端正确答案放在选项边缘,这类偏差会迁移到部分基准,使相关成绩无法反映真实能力。

来源:AGI Hunt · agihunt.info