跳到正文
AGI Hunt· DZhang50·· 2 小时前AI 评分28

Ripple 65B 逐层分析:value residual 不是摆设,第 6 层只靠它

Ripple 65B 逐层分析:value residual 不是摆设,第 6 层只靠它

AI 导读

remior 对 Ripple 65B 的 value residuals 进行逐层分析,结果显示第 6 层仅从输入 embedding 构建 value projection,对 residual 的依赖达到峰值。各层 residual 系数远非零,浅层也高度依赖它;引入该设计曾让 8B 4xC 规模的 CE 小幅提升,并减少梯度尖峰。

来源:AGI Hunt · agihunt.info