研究者质疑高难AI基准效度
热点事件持续更新
研究者质疑高难AI基准效度
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者 GregHBurnham 质疑“Model 4 全基准超 50%”的难度与测量效度，称高难数学基准并不难造，Opus 在 FrontierMath Erdős 上的准确率仅约 3%。 他援引图表指出，2026 年5月至9月多家新模型在该基准上的准确率接近0%，9月后个别模型升至约3%至5%。他还追问，(A)ECI 等基准是否真正衡量现实世界能力，认为即使分数持续提高，也未必代表模型更擅长对现实世界施加任意状态；其中“科学”的范围及机器人是否属于“多模态”也难以界定。
AI 根据报道生成 · 10 小时前更新
最新进展11月8日 05:44
Model 4 全基准超 50%引质疑：难基准并不难造，Opus 仅约 3%报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- AGI HuntModel 4 全基准超 50%引质疑：难基准并不难造，Opus 仅约 3%
GregHBurnham 对“Model 4 全基准超 50%”提出质疑，认为更难的数学基准并不难造，Opus 仅约 3%。FrontierMath Erdős 准确率图表显示，2026 年 5 月至 9 月各家新模型接近 0%，9 月后个别模型升至约 3-5%。他同时追问 (A)ECI 等基准能否有效衡量模型在现实世界中的能力。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月8日 06:00
- 近 24 小时变化
- –
02.557.510
06:0008:0010:0012:0014:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。