AGI Hunt· AniBaddepudi·· 1 小时前AI 评分58
Ramp 发布 SWE-Bench v2,包含 500 个真实生产任务
Ramp 发布 SWE-Bench v2:500 个真实生产任务,Astra 以 76.4% 居首
AI 导读
金融科技公司 Ramp 发布 Ramp SWE-Bench v2,以 500 个来自 200 多名工程师实际生产代码工作的任务评测编码智能体。前沿模型在各自原生运行环境中按 pass@1、N=500、high effort 和 95% 置信区间进行评测,Astra 以 76.4% 居首,Carbon 以 75.4% 紧随其后。
来源:AGI Hunt · agihunt.info