1273 题 LLM 评测在温度 0 下仍有 45 题答案变化

Maziyar Panahi 在 1273 道题的 LLM 评测中发现，即使将 temperature 设为 0 并开启 reasoning，两次运行仍有 45 题答案变化。他要求每个回答以 "Answer: X" 结尾以便解析，并改为运行 3 次取中位数，分数在 94.1% 到 95.0% 之间浮动。推理服务由 Baseten 提供，单题平均耗时 2.8 秒。