刘子鸣续解大模型 forking 机制与缓解方法

刘子鸣续解大模型 forking 机制，指出 DeepSeek V4.1 的 Engram 模块会让 n-gram 表接管上下文信号，并将 logits 切分为互不干扰的子空间，表查询供给最终残差流范数的约四分之三。他进一步说明，后训练中的数据重放会在小型代码、数学及 RLVR 风格语料上重现 forking，冻结 n-gram 表可缓解这一现象。