研究发现Llama隐状态存在三维螺旋结构

研究者考察开源 Llama 系列模型对元素周期表的内部表征，发现模型隐状态中存在与周期表概念结构对齐的三维螺旋空间，原子序数沿螺旋空间渐变排列。 这一结果表明，模型学习元素周期表时，相关概念并非仅以文本顺序存储，而是呈现出可识别的几何组织结构。不过，该发现目前限于所研究的 Llama 模型及其元素周期表任务，尚不能直接外推至其他模型或全部知识领域。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。