QK-Norm 带 gamma、V-Norm 不带 gamma 的不对称架构设计引发讨论

研究者围绕 SonglinYang4 分享的架构细节展开讨论，该设计对 Q/K 归一化保留可学习的 RMS gamma，而 V 归一化不带 gamma。讨论者认为，这种不对称设计结合 Q/K/V attention residual 拆分，是值得关注的 Transformer 架构选择。