微软倡导者 Waldek Mastykarz：公开榜单不可信，开发者应自建私有评测

微软首席开发者布道师 Waldek Mastykarz 提醒开发者，模型在 SWE-bench 等公开榜单取得 92% 后，迁移到自有代码库可能毫无提升甚至更差。他认为公开 benchmark 存在实质缺陷，部分模型还可能已记住测试答案，因此应针对自有技术栈建立私有评测。