GitHub 新星仓库·· 16 小时前精选AI 评分76
ParetoBench 开源编码智能体评测框架
michael-berardi/paretobench
AI 导读
ParetoBench 是一个面向编码智能体的开源评测工具,通过共享任务、检查器、运行器和统计方法,对比不同框架及模型的正确率、成本和时间。它提供 Harness 与 Model 两类基准、20 个短任务和 11 个长任务,支持 Bootstrap 置信区间与 Pareto 前沿判定,仅依赖 Python 3.11+ 标准库并采用 MIT 许可证。
推荐理由
项目提供统一任务、检查器和统计口径,可用于比较不同编码智能体框架在正确率、成本与时间上的差异。
来源:GitHub 新星仓库 · github.com