AGI Hunt· JordanMorgan10·· 7 小时前精选AI 评分77
Sosumi 实测:接入 Apple 开发者文档后编码 Agent 通过率升至 94%-98%
Sosumi 实测:接入 Apple 文档后编码 Agent 通过率从三成飙至 94-98%
AI 导读
mattt 公布 Sosumi 服务对编码 Agent 的实测结果:接入 Apple 开发者文档后,Claude Opus 5.5、GPT-6.1 Sol 和 Claude Sonnet 5.5 在 41 个 Swift 任务上的通过率分别达到 98%、97% 和 94%。评测覆盖 41 个 Swift 任务、每任务运行 3 次,并与内置 web search 对比了通过率和成本;评测代码已开源。
推荐理由
评测同时比较通过率与任务成本,并开源评测方法,可用于判断文档接入方案对编码 Agent 的实际价值。
来源:AGI Hunt · agihunt.info