Goldblum 研究解析 AdamW 致 LM logit 漂移的有限精度谜题

Goldblum 发推解析了 AdamW 破坏 LM 头梯度零和结构、引发平均 logit 漂移并使训练失败的有限精度谜题。其解释是，BF16 的数值间隔会随幅度增大，平均 logit 变大后，logit 之间的关键差异因分辨率不足而无法准确表达，而这些差异正是决定 softmax 分布的关键。