Signal65升级后编码Agent测试结果公布

PINNACLE升级自8月上线以来的Signal65基准，新增由Coding Agent独立完成的编码测试：模型需根据业务简报，在提供7.4万token文档和7200秒时限的陌生代码库中构建软件，并通过运行200个未见样本评分。 结果显示，一个托管模型样本的答案正确率达97%，但30个完整任务均未通过，显示单项作答能力与端到端软件构建能力存在明显分化。测试结果按每通过一个任务的价格呈现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。