字节 Seed 与清华、M-A-P 合作提出 Loop-μP 参数化，为循环 Transformer 提供 scaling 配方

字节 Seed 与清华、M-A-P 合作的论文《Loop-μP: Residual Scaling and Hyperparameter Transfer in Looped Transformers》发现，循环次数 N 增加会破坏训练稳定性并使最优超参漂移，并推导出残差分支乘以 1/N、结合深度因子 L^(-1/2) 的 Loop-μP 参数化。