EvalShift 创始人复盘模型迁移中的工具调用隐性回归

EvalShift 创始人用 16 个真实案例对拍新旧模型，成本从 $0.1799 降至 $0.0741，平均延迟从 3.1s 降至 773ms，但因伪完成、工具选择分歧率和等价率未达阈值而拦截上线。其方法是预先设定阈值，并比较触发工具、参数和调用顺序等 trace。