grokking 新研究：泛化涌现源于内部结构的自发简化与坍缩

一项关于 grokking 现象的新研究提出，模运算任务从记忆到泛化的转变源于模型内部结构受简约原则支配的自发简化。泛化涌现时，表征空间由高熵无序态坍缩为与 Z97 同构的低维一维环流形，Gini 系数与 IPR 急剧上升，权重算法复杂度骤降。研究者称，这一发现为理解模型过拟合与泛化机制提供了新视角。