AGI Hunt· hideo_kuze_·· 1 小时前AI 评分52
8 款编码 harness 固定种子横评显示结果差异与不稳定性
8 款编码 harness 固定种子横评:同模型结果差异巨大且不稳定
AI 导读
该 Reddit 横评在固定种子、温度 0 的条件下，对 8 款编码 harness 各运行 3 次并比较结果。相同 harness 自身的三次尝试也差异明显，显示测试噪声较高；测试未允许提问或补充视角、像素大小等信息，也影响结果公平性。Kilo Code、OpenCode、Hermes Agent 速度较快，OpenCode、Pi、Codex CLI 综合效果较好。
来源：AGI Hunt · agihunt.info