AGI Hunt· tallmetommy·· 1 小时前AI 评分55
评论指 Co-Design Bench 的 26.4% 为难例比例
评论指 AI 基准用已知失败案例构建,26.4% 只是难例率
AI 导读
一位开发者在回复 Gary Marcus 时指出,Co-Design Bench 刻意选取需要改写或回退的任务,因此 26.4% 是难例比例而非行业整体失败率。同一模型在不同 harness 下的得分从 75% 到 56% 不等,显示评测框架会显著影响结果。
来源:AGI Hunt · agihunt.info