跳到正文
热点事件持续更新

博主更正两版模型极难题评测结论

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

teortaxesTex 更正此前关于模型 0910 与 1017 版本在 SWE-bench 上 pass@1 提升的分析,称提升只出现在成功率低于 50% 的任务上;在极端难题尾部,两版表现实际相反:1507 道几乎无法解决的题目中,0910 版仅 1 题未解,1017 版则有 7 题未解。 他据此认为此前对表现方向 的判断被颠倒,并提出两版模型在 pass@5 附近可能存在交叉点,但该推断仍需用 beta 分布估计等方法验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. AGI Hunt
    博主更正 SWE-bench 评测,0910 与 1017 版本在极端难题尾部表现相反

    博主更正了此前关于模型 0910 与 1017 版本 pass@1 提升的评测结论。原文称,提升只发生在成功率低于 50% 的任务上;极端难题尾部中,0910 版本在 1507 题里几乎解不出的题目为 1 题,1017 版本为 7 题。作者认为方向此前被颠倒,并提出两者在 pass@5 附近存在交叉点,可用 beta 分布估计和该推断进行验证。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。