跳到正文
AGI Hunt· andrew_n_carr·· 3 小时前AI 评分46

Harness 工程差距悬殊:同一模型下 Provider 39.0% vs Mini-SWE 12.8%

Harness 工程差距悬殊:同模型下 Provider 39% vs Mini-SWE 12.8%

AI 导读

Andrew Carr 的对比显示,同一模型在 Provider harness 下的得分为 39.0%,在 Mini-SWE harness 下仅为 12.8%。他提出「harness engineering as a service」可形成年价值数百万美元的生意,帮助企业节省 token、提高准确率并获得可复现性,并判断其重要性将超过 prompting。

来源:AGI Hunt · agihunt.info