AGI Hunt· francoisfleuret·· 2 小时前AI 评分25
François Fleuret 质问:EMA 归一化为何不如 batch 归一化流行
AI 导读
研究者 François Fleuret 公开发问:为什么 EMA(指数滑动平均)归一化没有更流行?他认为 EMA 归一化比任何基于 batch 的归一化都合理得多,并补充“别告诉我它不管用”,相关取舍涉及 BatchNorm 等 batch 统计量归一化与滑动平均统计替代方案。
来源:AGI Hunt · agihunt.info