跳到正文
AGI Hunt· dyn___·· 4 小时前AI 评分48

MaxxBench 实测揭示 DeepSWE 同分模型相差 23 个百分点

MaxxBench 揭刷榜真相:DeepSWE 同分 74% 的模型实测相差 23 个百分点

AI 导读

MaxxBench 对 89 个 DeepSWE 编码任务微调指令措辞或起始代码,揭示原在 DeepSWE 约 74% 同分的模型实测相差 23 个百分点。Claude Opus 5.5 以 76.4% 居首,GPT-6 Astra 为 71.9%,Muse Spark 1.2 为 38.8%;结果显示,标准 benchmark 高分可能包含 benchmaxing 成分。

来源:AGI Hunt · agihunt.info