跳到正文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分30

DeepSeek mHC 架构分析:残差流或随深度收敛

DeepSeek mHC 架构引热议:残差流疑随深度收敛

AI 导读

前 DeepSeek 研究者 khazzz1c(Chonghan Liu)分析 mHC 多残差流混合架构,认为残差流可能随网络深度收敛,跨流混合或只需集中在前 20 层。实验者据此在 DeepSeek v4 相关实验中推荐采用 iHC,现有结果显示 mHC 与其他方案效果相当。

来源:AGI Hunt · agihunt.info