Jarmak称评测框架可致Agent成绩差30%

前天文学家 Stephanie Jarmak 称，同一模型仅更换 Agent 评测框架，成绩就可能出现 30% 的差异，因此公开 benchmark 只适合初步筛选，不能单独代表模型在真实任务中的能力。 她建议按实验方式设计评测：采用贴近真实任务的测试、多次重复运行并保留完整 trace，使度量指标对应实际关注目标；上线前仍应以生产环境测试为准，并设置质量控制门和人工审核。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。