LLM 评测为何可能失真：波动、污染与任务失败

LLM 评测可能因结果波动、基准饱和与污染以及任务成功判定偏差而失真，评估整条轨迹更接近真实表现。同一模型 5 次评测得分可在 73% 到 93% 间波动，温度设为 0 也非确定性，Qwen3 运行 1000 次得到 80 种不同回答；研究的 60 个基准中近一半已经饱和且污染严重。文章还指出工具调用全部正确不代表任务成功，答案正确也可能依赖循环消耗 token，并给出低成本纠错习惯及可运行代码。