Loop-μP提出循环Transformer缩放配方
热点事件持续更新
Loop-μP提出循环Transformer缩放配方
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
字节 Seed 与清华、M-A-P 合作提出 Loop-μP 参数化，用于解决循环 Transformer 随循环次数增加而出现的训练不稳定和最优超参数漂移问题。 论文指出，循环模型共享权重，残差流会随循环次数 N 线性增长，而非通常随深度呈平方根增长。研究者据此推导出一套缩放方法：将残差分支乘以 1/N，并结合深度因子 L^(-1/2)，以在改变循环次数时稳定训练并迁移超参数。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- AGI Hunt字节 Seed 与清华、M-A-P 合作提出 Loop-μP 参数化，为循环 Transformer 提供 scaling 配方
字节 Seed 与清华、M-A-P 合作的论文《Loop-μP: Residual Scaling and Hyperparameter Transfer in Looped Transformers》发现，循环次数 N 增加会破坏训练稳定性并使最优超参漂移，并推导出残差分支乘以 1/N、结合深度因子 L^(-1/2) 的 Loop-μP 参数化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。