跳到正文
热点事件持续更新

Gemini 4 Neon评测成绩遭质疑

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

第三方审视者 KLieret 质疑 Gemini 4 Neon 在 SWE-sweep 上宣称的最高 39% 成绩,称结果强烈依赖评测 harness;改用 mini-swe-agent 后,成绩降至 12.8%,与既有水平的明显差距随之缩小。 Google 已宣布 Gemini 4 Neon 上线 AI Studio 和 API,但此次测试中浮现的成本与推理扩展问题尚未得到解答,现有证据因此不足以确认 39% 可代表模型的稳定、通用能力。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    Gemini 4 Neon 的 SWE-sweep 39% 成绩受到评测 harness 质疑

    第三方审视者质疑 Gemini 4 Neon 在 SWE-sweep 上宣称的最高 39% 成绩,称其强烈依赖评测 harness。该模型换成 mini-swe-agent 后成绩仅为 12.8%,与既有水平的差距明显缩小,成本与推理 scaling 等问题仍未解答;Google 此前已宣布 Gemini 4 Neon 上线 AI Studio 与 API。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。