DeepSeek研究者称深层mHC趋于恒等并推荐iHC
热点事件持续更新
DeepSeek研究者称深层mHC趋于恒等并推荐iHC
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
前DeepSeek研究者khazzz1c分析mHC多残差流混合架构后认为，跨流差异可能随网络加深而减弱，因而推荐iHC。DeepSeek-V4-Flash 43层实验显示，0—21层的跨流混合较重要，改用恒等矩阵会使困惑度上升41%；22—42层的混合器已接近恒等。 这并不证明完整mHC最终退化为单流，因为每层仍可能注入新信息；若要保留各Stream的独立差异，混合矩阵需接近置换矩阵，但会拖慢Vertex Viscosity和Sinkhorn收敛。新增Stream能在多层网络中保留多少独立信息，目前尚无定论。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 20:34
DeepSeek mHC 架构分析：残差流或随深度收敛报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI HuntDeepSeek mHC 架构分析：残差流或随深度收敛
前 DeepSeek 研究者 khazzz1c（Chonghan Liu）分析 mHC 多残差流混合架构，认为残差流可能随网络深度收敛，跨流混合或只需集中在前 20 层。实验者据此在 DeepSeek v4 相关实验中推荐采用 iHC，现有结果显示 mHC 与其他方案效果相当。
- AGI HuntDeepSeek v4 实验者分析 mHC 残差流收敛，并推荐 iHC 引发讨论
DeepSeek 研究者 khazzz1c 分析 mHC 多残差流混合架构，指出其虽能解决数值稳定性问题，但不同 Stream 的差异可能随深度衰减，这也是其推荐 iHC 的原因之一。DeepSeek-V4-Flash 43 层实验显示，0-21 层跨流混合重要，恒等矩阵下 perplexity +41%；22-42 层的 mixer 已接近恒等，但完整 mHC 是否退化为单流仍无定论。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。