DecisionPivot 基准揭示单题准确率掩盖智能体决策差距

DecisionPivot 通过配对一致性评估智能体决策模型，揭示单条目准确率掩盖了模型之间的差异。该基准包含 48 个任务和 40,033 个条目，公开测试集上的 27B 决策模型单题得分接近，但配对准确率为 25–87，错误率约束下的覆盖率从 14 到 94 不等。研究指出，评估智能体还需结合配对一致性与错误率约束下的覆盖率。