变量型 Agent 应以重复评测分布判断

文章提出，判断变量型 Agent 的发布信号时，应在固定设置下重复运行同一案例并查看结果分布，不能只展示最佳成绩；评测还应公开尝试次数、失败和超时情况，四次通过、一次失败不能简单算作通过。 作者正在开发支持重复评测运行的 skillEd，本文重点是解读重复评测结果，并非提出新的 benchmark。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。