决策模型去偏后基准分数降至45分
热点事件持续更新
决策模型去偏后基准分数降至45分
2 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
研究者 Antoine Chaffin 对其决策模型进行选项长度偏置去偏，Habermas Machine 基准得分因此从60分降至45分，还低于“总是选最长”启发式的50%；随机基线约为24%。 Chaffin 认为，较低分数不意味着去偏让模型整体能力变差，而是表明原模型可能利用了选项长度带来的偏置。去除这一捷径后，模型在选项增加 token 时不易崩溃，凸显基准分数与决策鲁棒性之间的取舍。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 00:37
决策模型去除选项长度偏置后，Habermas Machine 基准分数反降报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI Hunt研究发现 LLM 评测存在多种偏置，去偏后模型分数反降
Hugging Face 开发者 antoinechaffin 指出，LLM 在数值题中常把答案放在极端值，这种偏置会显著影响评测结果。对决策模型去除选项长度偏置后，其 Habermas Machine 得分从 60 分降至 45 分，低于“选最长”启发式的 50%，随机基线约为 24%。
- AGI Hunt决策模型去除选项长度偏置后，Habermas Machine 基准分数反降
决策模型去除“选项长度偏置”后，Habermas Machine 基准得分从 60 分降至 45 分，低于“选最长”启发式的 50%。随机基线约为 24%；作者认为，去偏并非让模型变差，而是避免模型在选项增加 token 时崩溃，凸显分数与鲁棒性之间的取舍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。