Anthropic论文追问计数流形背后的精确算法

Anthropic 旗下 Transformer Circuits Thread 发布可解释性新论文《When Models Manipulate Manifolds: The Geometry of a Counting Task》，研究模型执行计数任务时如何操控表征的流形几何结构。社区研究者 burnytech 追问模型何时会学到可读的精确算法，由此引发对机制可解释性的进一步讨论。

Anthropic 发布可解释性论文《When Models Manipulate Manifolds: The Geometry of a Counting Task》，研究模型在计数任务中的内部几何表征。burny_tech 指出，现有解释多停留在描述流形，仍缺少揭示模型实际执行算法的精确机制。

可解释性研究者追问，LLM 何时能学到类似 grokking modular addition 的三角函数算法等精确、可读机制。相关计数任务论文发现，LLM 可从纯数字序列感知行宽、字符数等视觉属性，并通过注意力构建计数流形、QK 层扭转流形感知行尾。该研究仍以几何直觉解释流形操控，尚缺乏算法级解读。