AGI Hunt· ombre-ai·· 3 小时前AI 评分65
Google Agent 团队建议用离散行为评测防止能力回退
谷歌 agent 团队:别只看 benchmark 分数,要测离散行为防回退
AI 导读
Google Agent 团队建议不要只关注 Terminal-Bench、DeepSWE 等端到端基准的复合分数,而应检查智能体的离散可观察行为。文章提出从近期失败案例写一条检查并批量运行,以降低单次运行噪声,同时讨论工具调用断言、LLM-as-judge 和运行间噪声处理。
来源:AGI Hunt · agihunt.info