评测选项偏差或掩盖大模型真实缺陷
热点事件持续更新
评测选项偏差或掩盖大模型真实缺陷
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者 antoine_chaffin 警告，依赖评测设置匹配的大语言模型可能在真实使用中暴露缺陷，相关基准成绩未必能反映模型真实能力。 他以数值题干扰项为例指出，模型常把极端正确答案放在选项边缘；这种选项设置偏差可能迁移到部分基准，使模型在这些评测中的表现被高估或失真。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 00:41
antoine_chaffin 警告选项设置偏差可能掩盖 LLM 真实缺陷报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI Huntantoine_chaffin 警告选项设置偏差可能掩盖 LLM 真实缺陷
研究者 antoine_chaffin 警告，依赖评测设置匹配的 LLM 可能在真实使用中暴露缺陷。其以数值题干扰项为例指出，模型常把极端正确答案放在选项边缘，这类偏差会迁移到部分基准，使相关成绩无法反映真实能力。
- AGI Hunt研究发现 LLM 评测存在多种偏置，去偏后模型分数反降
Hugging Face 开发者 antoinechaffin 指出，LLM 在数值题中常把答案放在极端值，这种偏置会显著影响评测结果。对决策模型去除选项长度偏置后，其 Habermas Machine 得分从 60 分降至 45 分，低于“选最长”启发式的 50%，随机基线约为 24%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。