Google DeepMind 修复 Softmax 与交叉熵中的浮点舍入梯度损失

Google DeepMind 研究人员提出一种修复方案，解决高置信度目标概率因浮点舍入被舍入为 1、导致梯度提前归零，以及师生概率接近时蒸馏产生虚假残余梯度的问题。新方法在 log 空间重排相同的数学函数，以 softplus、expm1、log1p 保留小量，无需切换更高精度；相同的蒸馏 logits 将产生严格为零的梯度。论文通过 fp32 模 31 加法实验验证改进效果。