Szegedy转发训练损失缺陷讨论

Google杰出研究员Csaba Szegedy转发并评论Brandon Damos关于训练损失缺陷的发现，称相关问题十多年一直无人注意。Damos讨论了soft cross-entropy损失的隐性缺陷及修复方法；讨论还指出，蒸馏中常用的reverse KL和JSD损失可能存在类似缺陷。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。