推理让语言模型更趋同也更易同错
先了解这件事
马普智能系统研究所与图宾根AI中心的论文发现,在9个Qwen和GPT模型、3项美国人口普查数据任务中,开启推理通常会提高模型间的一致性,但也增加共同犯错的风险,全错模型的个体占比上升2.0至2.4个百分点。 论文同时指出,推理轨迹较长的个体在跨模型预测上仍更不一致;控制准确率差异后,整体趋同与共同犯错现象依然成立。因此,在依赖多个模型辅助人类决策时,不能只检查模型意见是否一致,还应确认至少有一个模型答对。
AI 根据报道生成 · 42 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntCohere Labs 开放科学社区公布下周活动:Kernel 自动研究发现等两场分享
Cohere Labs 开放科学社区公布 11 月 9-14 日两场线上活动,聚焦 Kernel 自动研究与 Context Language Models。
- AGI HuntMax Planck 论文《Does Reasoning Make Language Models Agree?》上线 arXiv
Max Planck 论文《Does Reasoning Make Language Models Agree?》的 arXiv 页面信息上线,编号为 arXiv:2610.41691,作者 Mila Gorecki、Moritz Hardt 于 2026-10-30 提交。研究发现,开启推理会增加模型间一致性,但推理轨迹更长的个体跨模型预测更不一致;控制准确率差异后,这两个结果依然成立。
- AGI Hunt马克斯·普朗克智能系统研究所新论文:开启推理让大模型回答趋同
马克斯·普朗克智能系统研究所的论文发现,开启推理模式后,不同大语言模型的输出会变得更加趋同,连错误也趋于一致。论文《Does Reasoning Make Language Models Agree?》于10月30日提交至 arXiv,编号为2610.41691,并引发对模型多样性与推理能力关系的关注。
- AGI Hunt马普所论文:开启推理让 LLM 更趋同,连错误也一起犯
马普所论文《Does Reasoning Make Language Models Agree?》发现,开启推理会提高 LLM 间的一致性,也会让模型更容易共同犯错。实验涵盖 9 个 Qwen 与 GPT 模型、3 个基于美国人口普查数据的任务,开启推理后全错模型的个体占比上升 2.0–2.4 个百分点;涉及对人的决策时,应检查模型集中是否至少有一个模型答对。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。