樽本彻也测验：训练中途降学习率仅带来短暂改善

樽本彻也公布的测验答案显示，训练 35M 参数、采用 WSD 调度的语言模型时，中途将学习率降至 0.1x 可暂时改善验证损失。学习率回升后，两种方案都迅速回到同一条略差于基线的损失曲线。