Ramp发布真实生产任务编码基准
热点事件持续更新
Ramp发布真实生产任务编码基准
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
金融科技公司 Ramp 发布 Ramp SWE-Bench v2,以500个来自其200多名工程师实际生产代码工作的任务评测编码智能体;首次榜单中,Astra以76.4%的通过率居首,Carbon以75.4%紧随其后。 所有模型均按pass@1、N=500、high effort和95%置信区间,在各自原生运行环境中评测。Ramp称,这些已上线任务带来更严格的验证,旨在衡量模型处理真实工程工作的能力。
AI 根据报道生成 · 16 分钟前更新
最新进展11月19日 03:48
Ramp 发布 SWE-Bench v2,包含 500 个真实生产任务报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI HuntRamp 发布 SWE-Bench v2,包含 500 个真实生产任务
金融科技公司 Ramp 发布 Ramp SWE-Bench v2,以 500 个来自 200 多名工程师实际生产代码工作的任务评测编码智能体。前沿模型在各自原生运行环境中按 pass@1、N=500、high effort 和 95% 置信区间进行评测,Astra 以 76.4% 居首,Carbon 以 75.4% 紧随其后。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。