Intuit论文评估AI Agent重启收益

Intuit研究者Siddharth Jain与Venkat N Vedam发布论文，提出不能只用分类准确率等指标判断“重启AI Agent”是否真正提升成功率，而应结合替换尝试在剩余预算下的成功概率评估决策价值。论文称，固定90%准确率的监控器可能带来-5至+35个百分点的成功率变化。 在SWE-bench Verified的19个SymPy问题、194次外部评估中，研究团队报告称2.29个百分点的表观重启收益来自单次幸存的失败尝试，另一模型损失42.29个百分点；前瞻任务队列未复现正向效果，103次实时对比均未达到认证门槛。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。