AGI Hunt· teortaxesTex·· 3 小时前AI 评分40
DeepSeek v4 实验者分析 mHC 残差流收敛,并推荐 iHC 引发讨论
mHC 残差流疑随深度收敛,DeepSeek v4 实验者推荐 iHC 引发讨论
AI 导读
DeepSeek 研究者 khazzz1c 分析 mHC 多残差流混合架构,指出其虽能解决数值稳定性问题,但不同 Stream 的差异可能随深度衰减,这也是其推荐 iHC 的原因之一。DeepSeek-V4-Flash 43 层实验显示,0-21 层跨流混合重要,恒等矩阵下 perplexity +41%;22-42 层的 mixer 已接近恒等,但完整 mHC 是否退化为单流仍无定论。
来源:AGI Hunt · agihunt.info