AGI Hunt· jon_barron·· 4 小时前AI 评分52
Google 研究员提出 softmax 与交叉熵数值 bug 修复方案
谷歌研究员称 JAX/PyTorch 交叉熵实现均有两处数值 bug
AI 导读
Google 研究员 Jon Barron 等人发布 arXiv 论文，提出 JAX、PyTorch 及标准写法中的 softmax 与交叉熵实现存在两个数值 bug。修复后可消除 grokking 阶段的 slingshot 尖峰，并在 student 与 teacher 完全一致时避免产生非零梯度；论文还指出 Adam 默认 eps=1e-8 恰好踩中相关阈值。
来源：AGI Hunt · agihunt.info