LM head 反向传播丢失 95-99% 梯度，提高 head rank 使 2B 模型收敛加速 16 倍

一项论文分析指出，反向传播时有 95-99% 的梯度范数在 LM head 处丢失，softmax 瓶颈同时损害表达能力和优化效果。将 head rank 从 32 提升至 4096 后，2B 模型预训练收敛速度提升 16 倍；评论者补充，CPLM 可在一定程度上缓解该问题。