Szegedy 感叹：训练损失的缺陷竟十多年无人察觉

Google 杰出研究员 Csaba Szegedy 转发 Brandon Damos 关于训练损失缺陷的发现，并感叹相关问题十多年无人注意。讨论聚焦 soft cross-entropy 损失的问题与修复，同时指出 reverse KL 和 JSD 等蒸馏常用损失也存在类似缺陷。