DecisionPivot揭示智能体决策能力差距

DecisionPivot评测显示，多款27B决策模型单题准确率接近，但配对决策表现差异显著，说明单一准确率不足以衡量智能体决策能力。 该基准包含48个任务和40,033个条目。在公开测试集上，各模型单题得分为52—59，配对准确率却仅为25—87；在错误率约束下，模型覆盖率也从14%到94%不等。研究据此认为，评估智能体还应结合配对一致性和错误率约束下的覆盖率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。