μP实现学习率跨模型宽度迁移

Robert Lange 解读 Tensor Programs V 论文称，标准参数化下，小模型调好的学习率无法直接用于更宽模型，因为参数更新幅度会随宽度变化；μP 按模型宽度缩放各层学习率，使更新幅度保持不变，从而支持将小模型调参零样本迁移到目标大模型（muTransfer）。 据该解读，μP 的调参成本约为总预训练成本的 7%，相关实现已开源，可通过 pip 安装 mup。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。