新论文挑战 grokking 主流解释：权重压缩并非泛化突现的原因

LossFunc 团队与 paraschopra 发布新论文，否定权重压缩导致 grokking 的因果解释。研究指出，网络在 grokking 过程中会先记忆训练数据、长期无法泛化，随后突然学会泛化；权重压缩进低维子空间只是伴随现象，而非泛化出现的原因。