跳到正文
AGI Hunt· burny_tech·· 3 小时前AI 评分41

LLM 计数任务论文《When Models Manipulate Manifolds》追问:模型何时能学到可读的精确算法

可解释性研究者追问:模型何时会学到可读的精确算法

AI 导读

可解释性研究者追问,LLM 何时能学到类似 grokking modular addition 的三角函数算法等精确、可读机制。相关计数任务论文发现,LLM 可从纯数字序列感知行宽、字符数等视觉属性,并通过注意力构建计数流形、QK 层扭转流形感知行尾。该研究仍以几何直觉解释流形操控,尚缺乏算法级解读。

来源:AGI Hunt · agihunt.info