Hewitt实验质疑大模型线性表示假说

哥伦比亚大学 John Hewitt 发布博文《Do Not Rely on the Linear Representation Hypothesis》，用实验结果质疑大语言模型可解释性中被广泛使用的线性表示假说：即模型内部特征可由少量方向线性表示、且可沿这些方向干预（steering）行为的假设。 他的实验显示，同一个 steering 向量改用四种不同的范数，会触发四种不同的行为；两个各自都能有效触发目标行为的向量相加后，反而导出了与两者都无关的任务。他据此认为 steering 向量的作用方式比线性表示假说所设想的更复杂，该假说不能被简单依赖。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。