AGI Hunt· MiserableFlatworm337·· 3 小时前AI 评分55
变量型 Agent 的发布信号应看重复评测分布
单次跑通不算数:变量型 Agent 的发布信号要看重复评测分布
AI 导读
作者主张判断变量型 Agent 的发布信号时,应在固定设置下重复运行同一案例并检查结果分布,而非只报告最佳结果。评测需公开尝试次数、失败和超时,四次通过一次失败不能简单算作通过。作者正在开发支持重复评测运行的 skillEd,本文重点是解读重复评测结果,而非提出新 benchmark。
来源:AGI Hunt · agihunt.info