AGI Hunt· stochasticchasm·· 1 小时前AI 评分23
注意力训练细节点评:Q/K norm 带 gamma、V norm 不带,q/k/v 残差拆分引关注
训练细节点评:Q/K norm 带gamma而 V norm 不带,注意力残差拆分引关注
AI 导读
stochasticchasm 点评选某模型训练配置,指出 Q/K norm 采用可学习 gamma 系数,而 V norm 不采用,并称赞 q/k/v 注意力残差的拆分设计十分巧妙。该不对称设计引发 AI 圈内对训练架构细节的关注。
来源:AGI Hunt · agihunt.info