跳到正文
AGI Hunt· JordanMorgan10·· 7 小时前精选AI 评分77

Sosumi 实测:接入 Apple 开发者文档后编码 Agent 通过率升至 94%-98%

Sosumi 实测:接入 Apple 文档后编码 Agent 通过率从三成飙至 94-98%

AI 导读

mattt 公布 Sosumi 服务对编码 Agent 的实测结果:接入 Apple 开发者文档后,Claude Opus 5.5、GPT-6.1 Sol 和 Claude Sonnet 5.5 在 41 个 Swift 任务上的通过率分别达到 98%、97% 和 94%。评测覆盖 41 个 Swift 任务、每任务运行 3 次,并与内置 web search 对比了通过率和成本;评测代码已开源。

推荐理由

评测同时比较通过率与任务成本,并开源评测方法,可用于判断文档接入方案对编码 Agent 的实际价值。

来源:AGI Hunt · agihunt.info