bf16 精度可能导致模型权重更新被冻结

一项针对 bf16 权重更新机制的研究发现，直接用 torch.optim.AdamW 更新 bf16 参数时，小幅更新会因舍入而丢失，表现为由学习率决定阈值的稀疏微调。作者复现 Quiet-STaR 实验并比较 fp32 优化器、随机掩码和小权重掩码，确认更新稀疏性是其训练稳定的重要原因，同时给出检查更新比例、使用 fp32 主权重或随机舍入等建议。