AGI Hunt· s_y_chung·· 1 小时前AI 评分45
新论文提出表示-读出分解,统一解释 grokking 与双下降并标记伪泛化
表示-读出分解统一解释 grokking 与双下降,并可标记伪泛化
AI 导读
s_y_chung 的新论文提出「表示-读出分解」,作为电路级可解释性的自顶向下补充,并以「双时间尺度」框架统一解释 grokking 与逐轮双下降。该方法还能标记非标准训练配方下的伪泛化动力学,在标准训练中这些特征会消失。
来源:AGI Hunt · agihunt.info