AGI Hunt· teortaxesTex·· 3 小时前AI 评分51
博主更正 SWE-bench 评测,0910 与 1017 版本在极端难题尾部表现相反
博主纠错 SWE-bench 数据:新模型在极难题目尾部反而更差
AI 导读
博主更正了此前关于模型 0910 与 1017 版本 pass@1 提升的评测结论。原文称,提升只发生在成功率低于 50% 的任务上;极端难题尾部中,0910 版本在 1507 题里几乎解不出的题目为 1 题,1017 版本为 7 题。作者认为方向此前被颠倒,并提出两者在 pass@5 附近存在交叉点,可用 beta 分布估计和该推断进行验证。
来源:AGI Hunt · agihunt.info