评测框架变更改变FrontierCS 2模型排名

banteg审计FrontierCS 2评测轨迹后发现，Pi Harness在约20%的运行中遇到security任务等fallback时，会直接终止Gemini 4 Argon的执行，导致其成绩被拉低。改用Antigravity Harness重跑后，Argon反超Astra，升至仅次于Opus 5.5，表明评测框架的运行方式会显著影响模型排名。 FrontierCS 2要求每个任务以一篇论文为基础，删除公开代码中的论文贡献，并让agent在无法查看论文和网页的情况下，使用作者选定的指标尝试超越原方法。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。