Goodfire发布大模型神经几何研究系列

可解释性公司 Goodfire 发布 Neural Geometry Series，共含5篇研究，聚焦如何用神经几何理解并控制大模型内部表示。研究包括在弯曲流形上进行行为转向、探索叙事在提示词和对话过程中的动态表示，以及用无监督流程发现流形。 其中一项研究在 Llama 3.1 8B 中发现表示星期和数字的圆形结构，并识别出承担通用加法的模块；另两项研究探讨用稀疏自编码器重建弯曲几何。Goodfire 称，理解这些激活中的几何结构是理解和控制 AI 的关键，但其提出的相关方法仍属于研究主张。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。