字节跳动 Seed 提出 Hierarchical Residuals：解耦残差宽度与计算宽度提升训练效率

字节跳动 Seed 团队与清华大学在 Hugging Face 发布论文，提出 HiRes 架构，解耦 Transformer 的残差宽度与计算宽度。HiRes 将网络分层为块，块内保留标准 d 维 PreNorm 层，块间通过更宽的 D 维 PostNorm 残差连接桥接两个空间；实验显示其训练效率与下游精度优于原始残差相加，且优势随模型规模扩大。