XYBench评测揭示大模型误解识别不足
热点事件持续更新
XYBench评测揭示大模型误解识别不足
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
CMU等机构提出含8,115条查询的XYBench基准，评测大模型能否识别“XY问题”中的误解并引导用户解决根本问题。结果显示，受测模型多按字面回应请求（比例为0.75—0.92），较少回应用户真实意图（0.33—0.71）；最强模型识别误解的最高比例仅为63%，低于人类的79%—90%。 评测依据合作应答理论考察模型是否给出实用方案、强调方案并点出误解；消融实验显示，生成时显式提供用户意图有帮助，但实用地引导模型转向根本问题仍是当前短板。
AI 根据报道生成 · 3 小时前更新
最新进展10月25日 16:28
XYBench 基准：最强 LLM 识别用户误解不足 63%报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- AGI HuntXYBench 基准：最强 LLM 识别用户误解不足 63%
CMU 等机构提出包含 8,115 条查询的 XYBench，考察 LLM 能否识别「XY 问题」式提问中的误解并引导用户解决根本问题。实验显示，最强的 LLM 大多照字面回答请求（0.75–0.92），很少回应用户真实意图（0.33–0.71），识别误解最高仅 63%，低于人类的 79–90%。消融结果表明，生成时显式给出用户意图有帮助，但实用性重定向引导仍是当前 LLM 的短板。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月25日 17:00
- 近 24 小时变化
- –
02.557.510
17:0018:0019:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。