跳到正文
AGI Hunt· krishnan·· 1 小时前AI 评分68

Agent 改进值不值成本?固定 vs 可编辑 harness 对照实验法

AI 导读

作者提出一套 Agent 评测实验,在相同工作流和总预算下对比固定 harness 与可编辑 harness,并在冻结后使用未见过的隐藏样例评分。按每美元被采纳结果数计算收益且计入改进开销,同时重跑旧样例检查回归,以判断改进是否值得保留。

来源:AGI Hunt · agihunt.info