跳到正文
AGI Hunt· ryanshrout·· 2 小时前AI 评分50

Signal65新基准揭示模型样本正确率与完整任务通过率分化

Signal65 新基准:一模型样本正确率 97%,完整任务却全军覆没

AI 导读

Signal65为PINNACLE推出上线以来首次大升级,通过Coding Agent独立测试评估模型在陌生代码库中按业务简报构建软件的能力。测试提供7.4万token文档和7200秒时限,并在200个未见样本上运行代码;一个托管模型样本回答正确率达97%,但30个完整任务均未通过。

来源:AGI Hunt · agihunt.info