跳到正文
AGI Hunt· jyangballin·· 2 小时前AI 评分47

ProgramBench 编码基准一年内从全员 0% 变为 Anthropic 领跑 18%

ProgramBench 从全员 0% 到 Anthropic 领跑 18%,编码基准一年巨变

AI 导读

ProgramBench 发布之初所有模型的 resolved 率均为 0%,如今 Anthropic 最新模型以约 18% 领跑,Meta 和 OpenAI 分别约为 8.5% 和 5%。从 6 月到 11 月的发布节奏显示,Anthropic 持续保持领先,其他厂商仍有明显差距。

来源:AGI Hunt · agihunt.info