跳到正文
热点事件持续更新

开发机构开源 Claude Code 评测方案

1 篇报道1 个报道来源47 分钟前更新

先了解这件事

AI 综述

一家开发机构开源了用于客观对比 Claude Code agent harness 版本的 A/B 评测方案,针对不同 harness 配置给出统一测试与评审方法。 方案冻结5至10个黄金规格,由人根据同一规格编写不向 agent 暴露的端到端或 API 测试;每种配置至少运行3次,以中位数和 pass^k 报告结果,而非采用最好成绩,并采用双盲成对评审。

AI 根据报道生成 · 22 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    开发机构分享 Claude Code harness 的冻结规格与盲测评测方案

    一家开发机构开源分享了 Claude Code harness 的 A/B 客观评测方案,包括冻结 5–10 个黄金 spec、由人编写不暴露给 agent 的 holdout e2e/API 测试,以及双盲成对评审。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。