新模型架构拆解：采用 top-4/128 专家与 MLA 压缩 KV cache

一份新模型架构分析比较了其与更小的 ML3 的宽深差异，并指出 MoE 配置采用 top-4 + 128 个专家。作者推测这一反常规配置可能出于稳定性和训练效率考虑，图中 DSV4.1 的 KV cache 明显低于其他模型，而 FLOPs 仍相对昂贵。