AGI Hunt· cneuralnetwork·· 2 小时前AI 评分47
PyTorch 固定 logits 温度采样实验:最高 token 概率从 99.7% 跌至 15.6%
同一组 logits,温度从 0.2 到 5.0,最高 token 概率从 99.7% 跌到 15.6%
AI 导读
PyTorch 固定 logits、仅改变温度的采样实验显示,logits 不变时,最高概率 token 的占比从 T=0.2 时的 99.73% 降至 T=5.0 时的 15.58%。每档温度进行 2 万次采样;T=2 时,128 次采样已覆盖 12 个候选 token,显示解码策略会显著改变输出多样性。
来源:AGI Hunt · agihunt.info