跳到正文
AGI Hunt· Delicious_Character6·· 3 小时前精选AI 评分76

Gemini 4 Neon 更换评测 harness 后 SWE-sweep 成绩从 12.8% 升至 39%

同一权重换 harness 成绩翻 3 倍,Gemini 4 Neon 评测遭质疑

AI 导读

Google DeepMind 发布的 Gemini 4 Neon 在 SWE-sweep 上宣称取得最高 39% 成绩,但论文作者 KLieret 等人指出,同一权重仅更换评测 harness,分数便从 12.8% 升至 39%。这一差异引发对模型成绩高度依赖评测 harness、评测层可信度及 harness 对结果贡献的广泛质疑。

推荐理由

同一权重仅更换评测 harness 便从 12.8% 升至 39%,为理解模型评测结果的可靠性提供了关键对照。

来源:AGI Hunt · agihunt.info