跳到正文
AGI Hunt· YouJiacheng·· 3 小时前AI 评分23

YouJiacheng 点评 HC 系列架构:mHC 略胜 iHC,xHC 增益存疑

YouJiacheng 点评 HC 系列架构:mHC 略胜 iHC,xHC 增益存疑

AI 导读

YouJiacheng 在 X 上点评 Hyper-Connections 系列架构,认为 LDM 的外积版本本质上就是 iHC,可能仅存在参数化方式差异。他判断 mHC 相较 iHC 有小幅性能优势,而引入 short convs 的 xHC 收益尚不明确。

来源:AGI Hunt · agihunt.info