μP 实现小模型学习率向大模型零样本迁移

Robert Lange 解读 Tensor Programs V 论文，指出标准参数化下小模型调好的学习率无法复用到更宽模型，μP 通过按宽度缩放每层 η 保持更新幅度不变，实现超参的零样本迁移。