AGI Hunt· cneuralnetwork·· 2 小时前AI 评分67
Agent 评测通过 65% 并不够:单次跑分应报告置信区间与方差
Agent 跑 54 次过 35 次,95% 置信区间却宽达 44%–83%,该怎么报?
AI 导读
一名开发者在 54 次 Agent 评测运行中通过 35 次,通过率约 65%,但 95% 置信区间宽达 44.4%–83.3%。他公开了 repolace benchmark、完整运行记录和复盘文章,指出 Agent 评测应报告多次运行的区间与方差,而不是仅凭单次 pass rate 下结论。
来源:AGI Hunt · agihunt.info