跳到正文
AGI Hunt· krishnan·· 4 小时前AI 评分51

11 个安全 Agent 横评:最佳 pass@1 为 68%,固定测试存在局限

11 个安全 agent 横评:最佳 68% pass@1,固定测试形同虚设

AI 导读

11 个安全 Agent 的横评显示,最佳成绩为 68% pass@1、81% pass@4,但这些基准分数不代表生产应用安全的概率。在 320 次判定分歧中,有 200 次主动探测攻击变体的评委否决了固定测试放行的补丁,说明固定测试难以覆盖所有攻击变体。

来源:AGI Hunt · agihunt.info