跳到正文
热点事件持续更新

Agent可靠性指标pass^k解析

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Cameron Wolfe 讲解了 Agent 评测中 pass@k 与 pass^k 的区别:前者衡量多次尝试中至少一次成功的概率,后者衡量所有尝试都成功的概率。以单次成功率为 80% 的 Agent 为例,pass@4 为 99.84%,但 pass^4 为 40.96%、pass^8 为 16.78%。 他建议,允许多次尝试的编码 Agent 可采用 pass@k;自主修改生产系统的 Agent 则应重点关注 pass^k,以反映持续执行的可靠性。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    Agent 评测中的 pass@k 与 pass^k 指标解析

    Agent 评测中的 pass@k 衡量多次尝试中至少一次成功的概率,pass^k 则衡量所有尝试均成功的概率。一个成功率为 80% 的 Agent,Pass@4 为 99.84%,但 Pass^4 为 40.96%、Pass^8 仅为 16.78%。文章建议编码 Agent 采用允许多次尝试的 pass@k,而自主修改生产系统的 Agent 应关注 pass^k。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。