研究称Grokking源于模型内部结构简化

arXiv 论文《Grokking From Abstraction to Intelligence》提出，Grokking 源于模型内部结构的自发简化，并受简约性原则支配。研究结合因果、谱与算法复杂度度量及奇异学习理论，发现从记忆到泛化对应冗余流形的物理坍缩与深层信息压缩。该论文共 22 页，正在投 ICML 2026。

两项新研究从不同角度解释 Grokking 现象：一项以模运算任务为对象，认为泛化源于模型内部结构受简约原则支配的自发简化，并结合因果分析、谱分析与算法复杂度（BDM）测量验证。另一篇 arXiv 论文《Grokking From Abstraction to Intelligence》提出，泛化是冗余流形的物理坍缩，目前正在投 ICML。

一项关于 grokking 现象的新研究提出，模运算任务从记忆到泛化的转变源于模型内部结构受简约原则支配的自发简化。泛化涌现时，表征空间由高熵无序态坍缩为与 Z97 同构的低维一维环流形，Gini 系数与 IPR 急剧上升，权重算法复杂度骤降。研究者称，这一发现为理解模型过拟合与泛化机制提供了新视角。