跳到正文
AGI Hunt· ChengleiSi·· 3 小时前AI 评分34

Yang Songlin 曝新模型各层权重行范数均≈1,疑与 nGPT 超球面假设一致

AI 导读

Yang Songlin 曝出一个新模型的各层权重行范数均约为 1,并称其可能符合 nGPT 将向量置于超球面的假设。Attention Q/K/V、投影、MoE router 和 unembedding 行的相对离散度约 0.004–0.008%,NVFP4 专家层则为 0.20%–0.28%,提示量化可能是范数方差的主要来源。

来源:AGI Hunt · agihunt.info