vfleaking 团队研究语言模型数据课程与学习率调度的联合设计

vfleaking 团队发布论文《Data Schedules and Learning Rate Schedules Should Be Designed Together》，指出语言模型训练中的数据课程与学习率调度需要联合设计。研究发现，网页数据训练中数学数据置于前期还是末期，其最优策略会随学习率调度变化而翻转。