CS312公布批大小调参测验答案
热点事件持续更新
CS312公布批大小调参测验答案
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
斯坦福讲师 Tatsu Hashimoto 在 CS312“Deep Learning Alchemy”发布测验，要求判断固定 token 预算下，8 层、约 3500 万参数语言模型的 batch size 扩大 8 倍后应如何调整超参数。课程随后公布答案：weight decay 应同步乘以 8，并据此讲解批大小、学习率与正则化之间的关系。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 01:12
斯坦福 CS312 测验：batch size 扩大 8 倍该调什么报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI Hunt斯坦福 CS312 测验：batch size 扩大 8 倍该调什么
斯坦福讲师 Tatsu Hashimoto 在 CS312「Deep Learning Alchemy」发布预测式测验，考察固定 token 预算、8 层约 35M 参数语言模型将 batch size 扩大 8 倍后的调参选择。课程随后公布答案为 weight decay 同步乘以 8，并据此讨论 batch size、学习率与正则化之间的关系。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。