Fleuret质疑EMA归一化为何未普及

研究者 François Fleuret 公开提出疑问：为什么使用 EMA（指数滑动平均）统计量进行归一化，没有像基于 batch 统计量的归一化那样流行？他称，EMA 归一化比任何基于 batch 的归一化都“合理得多”，并强调这种方案并非不管用。讨论涉及 BatchNorm 等使用 batch 统计量的归一化方法，以及用滑动平均统计替代相关 batch 统计量的选择。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。