跳到正文
AGI Hunt· cneuralnetwork·· 2 小时前AI 评分67

Agent 评测通过 65% 并不够:单次跑分应报告置信区间与方差

Agent 跑 54 次过 35 次,95% 置信区间却宽达 44%–83%,该怎么报?

AI 导读

一名开发者在 54 次 Agent 评测运行中通过 35 次,通过率约 65%,但 95% 置信区间宽达 44.4%–83.3%。他公开了 repolace benchmark、完整运行记录和复盘文章,指出 Agent 评测应报告多次运行的区间与方差,而不是仅凭单次 pass rate 下结论。

来源:AGI Hunt · agihunt.info