防训练崩溃的简单修法：只在 LM 头把 AdamW 换成动量 SGD

micahgoldblum 在线程第 10 条提出修复方案：仅将 LM 头使用动量 SGD，其他部分仍用 AdamW，以保留梯度的零和结构并避免平均输出嵌入漂移。引用上下文指出，FP32 下输出 logit 仍增长但 loss 不发散，而 BF16 中 logit 与预测分布的量化误差会在失败前增长数个数量级。