跳到正文
热点事件持续更新

定制harness提效但不依赖工具堆叠

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

开发者报告的 agent 评测复现实验显示,为小模型定制 harness 能改善部分任务表现,但增加工具数量并不必然提高通过率。实验覆盖8个任务、每个任务运行10次:4个任务的通过次数提升4至7次,3个下降,1个持平;工具数量与通过率增益的相关性仅为−0.15。 在 floor-plan 任务中,加入3个工具并使用452词提示词后,通过次数反而减少,说明 harness 的效果取决于具体任务与配置,不能简单靠扩充工具或提示词来提升结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. AGI Hunt
    定制 harness 实验:工具越多未必涨分

    开发者复现实验发现,针对小模型定制的 harness 可提升部分 agent 任务表现,但工具数量与通过率增益相关性仅为 −0.15。实验覆盖 8 个任务 × 10 次运行,其中 4 个任务提升 4–7 次运行,3 个下降、1 个持平;加入 3 个工具和 452 词 prompt 的 floor-plan 任务反而通过更少。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。