散度运算在近等分布下存在数值隐患
热点事件持续更新
散度运算在近等分布下存在数值隐患
2 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Brandon Amos 发表论文指出,KL 散度、广义 JSD、Monte Carlo KL 估计与熵在两个分布几乎相等时,可能因浮点舍入和相消产生数值问题,进而影响前向计算与梯度计算。 这类隐患涉及知识蒸馏、强化学习和 proximal 方法中的相关运算。论文提供了数值稳定的重写公式及示例实现,用于降低近等分布场景下的计算误差。
AI 根据报道生成 · 1 小时前更新
最新进展11月17日 00:20
Brandon Amos 论文:KL/JSD 等散度运算存在与 softmax 同类的数值隐患报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntBrandon Amos 论文:KL/JSD 等散度运算存在与 softmax 同类的数值隐患
Brandon Amos 发布论文,指出 KL 散度、广义 JSD、Monte Carlo KL 估计与熵在分布几乎相等时,会因舍入和相消产生数值问题,影响前向与梯度计算。相关隐患波及知识蒸馏、强化学习和 proximal 方法,论文给出数值稳定重写公式及示例实现。
- AGI HuntBrandon Amos 论文指出 KL/JSD 等散度运算存在同类数值问题
Brandon Amos 的论文指出,KL 散度、JSD、Monte Carlo KL 估计和熵在分布近乎相等时,会受到舍入与相消误差影响。研究针对前向和反向 KL 散度、广义 JSD 等场景给出数值稳定的重写公式与示例实现,并通过基于性质的测试进行验证。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。