跳到正文
AGI Hunt· s_y_chung·· 1 小时前AI 评分45

新论文提出表示-读出分解,统一解释 grokking 与双下降并标记伪泛化

表示-读出分解统一解释 grokking 与双下降,并可标记伪泛化

AI 导读

s_y_chung 的新论文提出「表示-读出分解」,作为电路级可解释性的自顶向下补充,并以「双时间尺度」框架统一解释 grokking 与逐轮双下降。该方法还能标记非标准训练配方下的伪泛化动力学,在标准训练中这些特征会消失。

来源:AGI Hunt · agihunt.info