论文提出Softmax与交叉熵数值修复方案

Google 研究员 Jon Barron 等人发布 arXiv 论文《A Fix for Softmax and Cross-Eyetropy》，称 JAX、PyTorch 及标准写法中的 softmax 与交叉熵实现存在两个数值 bug，并给出修复方案。 论文称，修复可消除 grokking 阶段的 slingshot 尖峰，并在 student 与 teacher 完全一致时避免产生非零梯度；作者还指出，Adam 默认 eps=1e-8 恰好触及相关阈值。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。