跳到正文
AGI Hunt· brandondamos·· 2 小时前AI 评分44

Brandon Amos 论文:KL/JSD 等散度运算存在与 softmax 同类的数值隐患

AI 导读

Brandon Amos 发布论文,指出 KL 散度、广义 JSD、Monte Carlo KL 估计与熵在分布几乎相等时,会因舍入和相消产生数值问题,影响前向与梯度计算。相关隐患波及知识蒸馏、强化学习和 proximal 方法,论文给出数值稳定重写公式及示例实现。

来源:AGI Hunt · agihunt.info