AGI Hunt· FraunhoferIAIS·· 4 小时前AI 评分43
Fraunhofer IAIS 研究:语言模型最佳探测方向并非最佳引导方向
Fraunhofer 研究:探测概念的最佳方向并非引导模型的最佳方向
AI 导读
Fraunhofer IAIS 系统比较了语言模型隐状态中 probing 与 steering 的方向,发现最佳探测方向并非最佳引导方向。三个不同家族的指令微调模型在真实性与情感概念上均呈现这一分离,59/60 的对比情形成立,且引导始终偏向更接近均值差的方向,说明探测方向不能直接迁移用于引导。
来源:AGI Hunt · agihunt.info