跳到正文
热点事件持续更新

Ramp发布真实生产任务编码基准

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

金融科技公司 Ramp 发布 Ramp SWE-Bench v2,以500个来自其200多名工程师实际生产代码工作的任务评测编码智能体;首次榜单中,Astra以76.4%的通过率居首,Carbon以75.4%紧随其后。 所有模型均按pass@1、N=500、high effort和95%置信区间,在各自原生运行环境中评测。Ramp称,这些已上线任务带来更严格的验证,旨在衡量模型处理真实工程工作的能力。

AI 根据报道生成 · 16 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    Ramp 发布 SWE-Bench v2,包含 500 个真实生产任务

    金融科技公司 Ramp 发布 Ramp SWE-Bench v2,以 500 个来自 200 多名工程师实际生产代码工作的任务评测编码智能体。前沿模型在各自原生运行环境中按 pass@1、N=500、high effort 和 95% 置信区间进行评测,Astra 以 76.4% 居首,Carbon 以 75.4% 紧随其后。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。