定制harness提效但不依赖工具堆叠
热点事件持续更新
定制harness提效但不依赖工具堆叠
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
开发者报告的 agent 评测复现实验显示,为小模型定制 harness 能改善部分任务表现,但增加工具数量并不必然提高通过率。实验覆盖8个任务、每个任务运行10次:4个任务的通过次数提升4至7次,3个下降,1个持平;工具数量与通过率增益的相关性仅为−0.15。 在 floor-plan 任务中,加入3个工具并使用452词提示词后,通过次数反而减少,说明 harness 的效果取决于具体任务与配置,不能简单靠扩充工具或提示词来提升结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月24日 00:30
定制 harness 实验:工具越多未必涨分报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- AGI Hunt定制 harness 实验:工具越多未必涨分
开发者复现实验发现,针对小模型定制的 harness 可提升部分 agent 任务表现,但工具数量与通过率增益相关性仅为 −0.15。实验覆盖 8 个任务 × 10 次运行,其中 4 个任务提升 4–7 次运行,3 个下降、1 个持平;加入 3 个工具和 452 词 prompt 的 floor-plan 任务反而通过更少。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。