AGI Hunt· winer666·· 3 小时前AI 评分56
Claude Opus 5.5 在 ProgramBench 二进制重建任务中得分 18.5%
Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5%
AI 导读
Claude Opus 5.5 (xhigh) 在 ProgramBench 的 200 项从零重建任务中取得 18.5%,可仅凭编译后的二进制文件和文档重写 SQLite、FFmpeg、ripgrep 等真实程序。该基准发布时所有模型得分均为 0%;Jack Clark 预计其将在 2027 年底前被刷满,作者同时讨论了这种任务对编程能力测试的意义。
来源:AGI Hunt · agihunt.info