AGI Hunt· burny_tech·· 45 分钟前AI 评分32
Grokking 新研究:泛化源于模型内部结构自发简化与坍缩
新研究解释 Grokking:泛化源于模型内部结构自发简化
AI 导读
两项新研究从不同角度解释 Grokking 现象:一项以模运算任务为对象,认为泛化源于模型内部结构受简约原则支配的自发简化,并结合因果分析、谱分析与算法复杂度(BDM)测量验证。另一篇 arXiv 论文《Grokking From Abstraction to Intelligence》提出,泛化是冗余流形的物理坍缩,目前正在投 ICML。
来源:AGI Hunt · agihunt.info