DeepSeek-V4 疑似采用 4 残差流加 Sinkhorn 迭代的新型连接架构

Robert Lange 称，DeepSeek-V4 与百度 ERNIE 5.5 Flash 疑似采用由 4 条残差流经 20 次 Sinkhorn 迭代混合的新型连接架构。其 Hyper-Connections（HC）以 Hpre、Hpost 和 Hres（4×4）读写并混合各流，mHC 则通过 Sinkhorn-Knopp 迭代将 Hres 投影为双随机矩阵。