跳到正文
AGI Hunt· burny_tech·· 45 分钟前AI 评分32

Grokking 新研究:泛化源于模型内部结构自发简化与坍缩

新研究解释 Grokking:泛化源于模型内部结构自发简化

AI 导读

两项新研究从不同角度解释 Grokking 现象:一项以模运算任务为对象,认为泛化源于模型内部结构受简约原则支配的自发简化,并结合因果分析、谱分析与算法复杂度(BDM)测量验证。另一篇 arXiv 论文《Grokking From Abstraction to Intelligence》提出,泛化是冗余流形的物理坍缩,目前正在投 ICML。

来源:AGI Hunt · agihunt.info