SO-Arena评估模型决策可靠性

SO-Arena研究团队提出用于评估快思考模型能力谱系与决策可靠性的基准，并在11个领域、5类能力族中测试21个模型。结果显示，综合表现最强的System One模型在可靠性排名中仅列第七；扩大模型规模和增加推理时间带来的收益因领域而异。 该基准采用人工核验的参考标签、领域特定难度标准和真实交互式评估，用于区分模型的综合能力与决策可靠性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。