斯坦福 CS312 测验：batch size 扩大 8 倍该调什么

斯坦福讲师 Tatsu Hashimoto 在 CS312「Deep Learning Alchemy」发布预测式测验，考察固定 token 预算、8 层约 35M 参数语言模型将 batch size 扩大 8 倍后的调参选择。课程随后公布答案为 weight decay 同步乘以 8，并据此讨论 batch size、学习率与正则化之间的关系。