AGI Hunt· 0xkarasy·· 3 小时前AI 评分66
Copilot 官方 agent harness 模型对比展示成功率、单任务成本与误差棒
Copilot 官方 harness 跑模型对比:成功率、单任务成本与误差棒并列展示
AI 导读
一项基于 Copilot 自家 agent harness 的资源,在 DeepSWE 1.1 等软件工程 benchmark 上横向对比各模型。图表并列展示成功率、平均单任务成本和不同 reasoning effort 档位,最多进行 5 次完整运行并给出误差棒,但未测试响应时间和所有工作流。作者建议先借此缩小候选名单,再在自己的代码上实测最终选择。
来源:AGI Hunt · agihunt.info