跳到正文
AGI Hunt· yb2698·· 3 小时前AI 评分43

定制 harness 实验:工具越多未必涨分

AI 导读

开发者复现实验发现,针对小模型定制的 harness 可提升部分 agent 任务表现,但工具数量与通过率增益相关性仅为 −0.15。实验覆盖 8 个任务 × 10 次运行,其中 4 个任务提升 4–7 次运行,3 个下降、1 个持平;加入 3 个工具和 452 词 prompt 的 floor-plan 任务反而通过更少。

来源:AGI Hunt · agihunt.info