Mastykarz建议开发者自建私有模型评测

微软首席开发者布道师 Waldek Mastykarz 认为，公开模型榜单不能代表模型在实际项目中的表现，开发者应针对自有代码库和技术栈建立私有评测。 他指出，模型在 SWE-bench 等公开基准上取得 92% 的成绩后，迁移到私有代码库时可能没有提升，甚至表现更差；部分模型还可能记住了测试答案。Mastykarz 据此称，公开 benchmark 存在实质缺陷，不能单独作为选型依据。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。