苹果以改题测试模型数学推理

苹果研究团队仅更换GSM8K小学数学题中的人名和数字，构建GSM-Symbolic数学推理基准，多款先进模型的测试成绩明显下滑。 这一结果表明，模型在题目表述发生表面变化后，原有的数学解题能力可能无法稳定保持，基准测试表现也会受到具体数字、人名等非核心信息的影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。