SimpleHC 将 Hyper-Connections 训练开销从约 59–100% 降到 2.4%

新 arXiv 论文提出 SimpleHC，以共享内存访问、批量读取和延迟写入简化 Hyper-Connections 执行。最大测试宽度下，其相对 vanilla residual 仅增加 2.4% 端到端训练时间；从 15B 扩展到 30B MoE 模型时，仍保持与 mHC 相当的性能。