AGI Hunt· cwolferesearch·· 2 小时前AI 评分65
Agent 评测中的 pass@k 与 pass^k 指标解析
pass@k 会骗人:80% 成功率的 Agent 连过 8 次仅 16.78%
AI 导读
Agent 评测中的 pass@k 衡量多次尝试中至少一次成功的概率,pass^k 则衡量所有尝试均成功的概率。一个成功率为 80% 的 Agent,Pass@4 为 99.84%,但 Pass^4 为 40.96%、Pass^8 仅为 16.78%。文章建议编码 Agent 采用允许多次尝试的 pass@k,而自主修改生产系统的 Agent 应关注 pass^k。
来源:AGI Hunt · agihunt.info