AGI Hunt· YouJiacheng·· 3 小时前AI 评分23
YouJiacheng 点评 HC 系列架构:mHC 略胜 iHC,xHC 增益存疑
YouJiacheng 点评 HC 系列架构:mHC 略胜 iHC,xHC 增益存疑
AI 导读
YouJiacheng 在 X 上点评 Hyper-Connections 系列架构,认为 LDM 的外积版本本质上就是 iHC,可能仅存在参数化方式差异。他判断 mHC 相较 iHC 有小幅性能优势,而引入 short convs 的 xHC 收益尚不明确。
来源:AGI Hunt · agihunt.info