跳到正文
AGI Hunt· cneuralnetwork·· 2 小时前AI 评分11

面试高频坑:忘了调 model.eval(),BatchNorm 会让预测随 batch 变化

面试高频坑:忘了调 model.eval(),BatchNorm 会让预测随 batch 变化

AI 导读

一道 ML 面试题解析 BatchNorm 训练与推理的差异:训练时用当前 mini-batch 的均值/方差统计量,推理时使用训练期间累积的 running estimates。在 PyTorch 中若评估前忘记调用 model.eval(),BatchNorm 和 Dropout 会保持训练模式,同一份数据换不同 batch 切分方式,预测结果就可能不一样。

来源:AGI Hunt · agihunt.info