跳到正文
AGI Hunt· s_y_chung·· 1 小时前AI 评分31

sychung 提出表示-读出分解,统一解释 grokking 与双下降

研究者提出表示-读出分解,统一解释 grokking 与双下降

AI 导读

研究者 sychung 提出“表示-读出分解”框架,以“双时间尺度”统一解释 grokking 与双下降现象。该框架是电路级可解释性自顶向下的补充,并可标记伪泛化,即模型表面泛化但表示尚未真正学到位的情形。

来源:AGI Hunt · agihunt.info