阿里发布真实编码代理基准
热点事件持续更新
阿里发布真实编码代理基准
2 篇报道2 个报道来源2 小时前更新
先了解这件事
AI 综述
阿里巴巴与多所亚洲高校团队发布 Co-Design Bench，以真实用户代码变更请求测试编码智能体。10个模型中，GPT-6 Astra平均满足约70%的任务要求，但仅在26.4%的任务中完全正确；其旧基准得分超过99%。任务包含的变更类型越多，所有模型表现越差。研究称运行环境会显著影响成绩，基准每项任务只评估一个固定请求，不含用户追问或中途修改，AI评审也可能出错。
AI 根据报道生成 · 1 小时前更新
最新进展11月8日 17:50
阿里 Co-Design Bench：最强模型仅完整解决 26.4% 的真实编码任务报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- AGI Hunt阿里 Co-Design Bench：最强模型仅完整解决 26.4% 的真实编码任务
阿里巴巴发布 coding-agent 基准 Co-Design Bench，采用实践中已让 AI 受挫的真实用户请求。表现最好的 GPT-6 Astra 仅完整解决 26.4% 的任务，而同一模型在旧基准上的得分超过 99%。
- The DecoderCo-Design Bench 真实任务测试显示近四分之三编码任务仍需人工收尾
Alibaba 与多所亚洲高校的研究团队发布 Co-Design Bench，用真实用户变更请求测试编码智能体。10 个模型中，GPT-6 Astra 平均满足约 70% 的任务要求，但仅在 26.4% 的任务中完全正确；随着任务包含更多变更类型，所有模型表现均下降。研究还发现工作环境会显著影响结果，因此报告模型成绩时应同时说明运行环境。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。