新模型权重范数与nGPT假说分析
热点事件持续更新
新模型权重范数与nGPT假说分析
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Yang Songlin公布某新模型的权重行范数实测结果：各层行范数均约为1，与nGPT将向量置于超球面的假设一致；但这一结果只能提示模型可能采用类似归一化架构，尚不能确认其架构。 具体来看，Attention的Q/K/V、投影、MoE路由器及反嵌入层的行范数相对离散度约为0.004%—0.008%；采用NVFP4量化的专家层离散度升至0.20%—0.28%。Yang据此认为，量化可能是专家层范数方差较大的主要原因。
AI 根据报道生成 · 2 小时前更新
最新进展11月13日 15:05
Yang Songlin 曝新模型各层权重行范数均≈1，疑与 nGPT 超球面假设一致报道时间线
沿着报道，了解事件的不同侧面。
11月13日
- AGI HuntYang Songlin 曝新模型各层权重行范数均≈1，疑与 nGPT 超球面假设一致
Yang Songlin 曝出一个新模型的各层权重行范数均约为 1，并称其可能符合 nGPT 将向量置于超球面的假设。Attention Q/K/V、投影、MoE router 和 unembedding 行的相对离散度约 0.004–0.008%，NVFP4 专家层则为 0.20%–0.28%，提示量化可能是范数方差的主要来源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。