AGI Hunt· cneuralnetwork·· 2 小时前AI 评分11
面试高频坑:忘了调 model.eval(),BatchNorm 会让预测随 batch 变化
面试高频坑:忘了调 model.eval(),BatchNorm 会让预测随 batch 变化
AI 导读
一道 ML 面试题解析 BatchNorm 训练与推理的差异:训练时用当前 mini-batch 的均值/方差统计量,推理时使用训练期间累积的 running estimates。在 PyTorch 中若评估前忘记调用 model.eval(),BatchNorm 和 Dropout 会保持训练模式,同一份数据换不同 batch 切分方式,预测结果就可能不一样。
来源:AGI Hunt · agihunt.info