8B 模型 LoRA 微调实测：多 epoch 配 WSD 衰减效果最佳，第 3 epoch 起过拟合

开源研究者 kalomaze 公布 8B 模型 LoRA 微调实验结果，约 90M token 的训练数据显示，从第 3 个 epoch 开始出现过拟合。多 epoch 训练配合 WSD 衰减的方案效果最佳，优于全量数据单 epoch 加最优数据子集重复训练等配置。