论文揭示Grokking三阶段机制

Neel Nanda 等人的经典论文用机制可解释性拆解 grokking，将模型从记忆训练样本到突然泛化的过程刻画为记忆化、回路形成和清理三个连续阶段。研究以小型 Transformer 学习模加法为例，逆向还原出借助离散傅里叶变换和三角恒等式、将加法转化为圆周旋转的算法。 论文通过分析激活与权重，并在傅叶空间中进行消融验证；其提出的 progress measures 用于追踪各阶段的发展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。