AGI Hunt· cneuralnetwork·· 3 小时前AI 评分48
temperature=0 为何不等于 LLM 输出可复现:GPU 浮点与批处理引入随机性
temperature=0 并不等于输出可复现:GPU 浮点与批处理会引入随机性
AI 导读
temperature=0 仅让 LLM 采用贪心解码选择最高概率 token,并不保证确定性推理。GPU 浮点运算、批处理与并行执行可能造成细微数值差异,当候选 token 概率接近时便可能翻转后续输出,因此同一输入仍可能生成不同回复。
来源:AGI Hunt · agihunt.info