跳到正文
AGI Hunt· Jsevillamol·· 10 小时前AI 评分50

Model 4 全基准超 50%引质疑:难基准并不难造,Opus 仅约 3%

「Model 4 全基准超 50%」,研究者:难基准其实不难造,我们的题 Opus 仅 3%

AI 导读

GregHBurnham 对“Model 4 全基准超 50%”提出质疑,认为更难的数学基准并不难造,Opus 仅约 3%。FrontierMath Erdős 准确率图表显示,2026 年 5 月至 9 月各家新模型接近 0%,9 月后个别模型升至约 3-5%。他同时追问 (A)ECI 等基准能否有效衡量模型在现实世界中的能力。

来源:AGI Hunt · agihunt.info