DeepMind重排Softmax计算以保留梯度
热点事件持续更新
DeepMind重排Softmax计算以保留梯度
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Google DeepMind研究人员提出一种修复方案：在log空间重排Softmax与交叉熵的相同数学函数，以softplus、expm1和log1p保留被浮点舍入掩盖的小量，解决高置信度目标概率被舍入为1后分类梯度提前归零，以及师生概率接近时蒸馏出现虚假残余梯度的问题，无需切换更高精度；相同蒸馏logits的梯度可严格归零。 论文在fp32模31加法实验中验证了改进效果。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 14:36
Google DeepMind 修复 Softmax 与交叉熵中的浮点舍入梯度损失报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI HuntGoogle DeepMind 修复 Softmax 与交叉熵中的浮点舍入梯度损失
Google DeepMind 研究人员提出一种修复方案，解决高置信度目标概率因浮点舍入被舍入为 1、导致梯度提前归零，以及师生概率接近时蒸馏产生虚假残余梯度的问题。新方法在 log 空间重排相同的数学函数，以 softplus、expm1、log1p 保留小量，无需切换更高精度；相同的蒸馏 logits 将产生严格为零的梯度。论文通过 fp32 模 31 加法实验验证改进效果。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。