AGI Hunt· Delicious_Character6·· 3 小时前精选AI 评分76
Gemini 4 Neon 更换评测 harness 后 SWE-sweep 成绩从 12.8% 升至 39%
同一权重换 harness 成绩翻 3 倍,Gemini 4 Neon 评测遭质疑
AI 导读
Google DeepMind 发布的 Gemini 4 Neon 在 SWE-sweep 上宣称取得最高 39% 成绩,但论文作者 KLieret 等人指出,同一权重仅更换评测 harness,分数便从 12.8% 升至 39%。这一差异引发对模型成绩高度依赖评测 harness、评测层可信度及 harness 对结果贡献的广泛质疑。
推荐理由
同一权重仅更换评测 harness 便从 12.8% 升至 39%,为理解模型评测结果的可靠性提供了关键对照。
来源:AGI Hunt · agihunt.info