AGI Hunt· JensHonack·· 3 小时前AI 评分63
Qwen3-235B 实测揭示 temperature 0 推理仍不确定的浮点原因
temperature 0 为何不确定:Qwen3-235B 跑千次出 80 种答案
AI 导读
Avi Chawla 在技术长文中解释,LLM 即使在 temperature 0 下采用确定性的贪心解码,推理结果仍可能不确定。Thinking Machines 向 Qwen3-235B 发送同一 prompt 1000 次,得到 80 种不同输出,原因之一是 GPU 浮点精度有限及加法顺序差异导致 argmax 偶尔选择不同 token。
来源:AGI Hunt · agihunt.info