MCP工具调用评测发布并开源评测库

Future_AGI发布基于Sineframe benchmark的3,717次实测工具调用评测，并开源配套评测库。测试显示，当MCP服务器提供与客户端内置工具重叠的能力时，Claude Code调用MCP工具的比例从无重叠场景的93.5%降至34.5%，Codex从92.1%降至17.2%，OpenCode在重叠场景下为66.3%。 评测将漏调计为0分，并建议用20至30条指定预期工具和参数的提示，在内置工具开启与关闭两种条件下各运行一轮、每条运行30次，并在客户端更新后复测。报告称，Claude Code默认延迟加载MCP工具，且服务器说明截断至4,096字符，是其调用率受影响的原因之一。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。