两种模型修复同一Bug后的回放结果

一个研究团队让 Claude Code（Sonnet）与本地 27B 模型分别修复同一个韩语请求判定 Bug：被修改的文件有 4915 行代码、191 条正则。团队随后将修复前后版本分别用于回放 2672 条真实历史请求，各运行 3 次，并结合 36 条新测试和 82 条既有测试评估修复。 回放显示，两种模型修复后都会使同一批真实请求的判定结果发生变化，但两者的具体判定存在差异。作者提醒，判定不同不等于判定错误，且仅凭这一项任务不能给模型能力排名；团队计划进一步可视化规则变更对真实请求的影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。