Neel Nanda 等经典论文用机制可解释性拆解 grokking 三阶段

Neel Nanda 等人的经典论文用机制可解释性拆解 grokking，将突变式泛化还原为连续发展的三个阶段。研究以小 Transformer 学习模加法为案例，逆向工程出借离散傅里叶变换与三角恒等式将加法转为圆周旋转的算法，并通过激活、权重分析和傅里叶空间消融验证。论文提出 progress measures，将过程划分为记忆化、回路形成与清理。