Seed与清华发布HiRes残差解耦论文
热点事件持续更新
Seed与清华发布HiRes残差解耦论文
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
字节跳动 Seed 团队与清华大学在 Hugging Face 发布论文，提出 HiRes 架构，将 Transformer 的残差宽度与计算宽度解耦：块内保留标准 d 维 PreNorm 层，块间以更宽的 D 维 PostNorm 残差连接桥接两个空间。 论文实验称，该设计相较原始残差相加可提高训练效率和下游精度，且优势随模型规模扩大；目前公开内容为论文。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 19:17
字节跳动 Seed 提出 Hierarchical Residuals：解耦残差宽度与计算宽度提升训练效率报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- AGI Hunt字节跳动 Seed 提出 Hierarchical Residuals：解耦残差宽度与计算宽度提升训练效率
字节跳动 Seed 团队与清华大学在 Hugging Face 发布论文，提出 HiRes 架构，解耦 Transformer 的残差宽度与计算宽度。HiRes 将网络分层为块，块内保留标准 d 维 PreNorm 层，块间通过更宽的 D 维 PostNorm 残差连接桥接两个空间；实验显示其训练效率与下游精度优于原始残差相加，且优势随模型规模扩大。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。