AGI Hunt· LotfiSanae·· 2 小时前AI 评分66
Brandon Amos 论文指出 KL/JSD 等散度运算存在同类数值问题
Jon Barron 揭出 softmax/交叉熵实现双 bug,KL/JSD 也有同类问题
AI 导读
Brandon Amos 的论文指出,KL 散度、JSD、Monte Carlo KL 估计和熵在分布近乎相等时,会受到舍入与相消误差影响。研究针对前向和反向 KL 散度、广义 JSD 等场景给出数值稳定的重写公式与示例实现,并通过基于性质的测试进行验证。
来源:AGI Hunt · agihunt.info