AGI Hunt· slavadubrov·· 2 小时前AI 评分70
slavadubrov 开源 harness-evals,以成功率与成本散点图比较 Agent 版本
开源 harness-evals:用成功率-成本散点图对比 agent 版本
AI 导读
slavadubrov 开源轻量工具 harness-evals,用于比较不同 Agent 版本在任务成功率、成本和延迟上的变化。用户可编写带检查项的任务并配置自己的 Agent 适配器,每个版本多轮运行后查看成功率、pass^k、置信区间、成功率与成本散点图及失败地图;项目零依赖并采用 MIT 许可证。
来源:AGI Hunt · agihunt.info