AGI Hunt· ChengleiSi·· 3 小时前AI 评分34
Yang Songlin 曝新模型各层权重行范数均≈1,疑与 nGPT 超球面假设一致
AI 导读
Yang Songlin 曝出一个新模型的各层权重行范数均约为 1,并称其可能符合 nGPT 将向量置于超球面的假设。Attention Q/K/V、投影、MoE router 和 unembedding 行的相对离散度约 0.004–0.008%,NVFP4 专家层则为 0.20%–0.28%,提示量化可能是范数方差的主要来源。
来源:AGI Hunt · agihunt.info