跳到正文
AGI Hunt· francoisfleuret·· 2 小时前AI 评分30

François Fleuret 科普:投影前后各做一次 RMSNorm 的架构称 Sandwich Norm

François Fleuret 科普:投影前后各做一次 RMSNorm 称作 Sandwich Norm

AI 导读

François Fleuret 分享了一条 Transformer 归一化架构术语知识:在投影(projections)之前和之后都进行 RMSNorm 的结构被称为 Sandwich Norm。该命名概括了这种归一化布局方式,为理解相关架构提供了简明术语。

来源:AGI Hunt · agihunt.info