跳到正文
AGI Hunt· davidbau·· 3 小时前AI 评分65

David Bau 团队发布《Goal Encoding in LLMs》论文,定位可移植且可预先读出的 LLM 目标编码

新研究定位 LLM 目标编码:稀疏注意力头可移植并预先读出模型下一步

AI 导读

David Bau 团队发布《Goal Encoding in LLMs》论文,在受控编码任务中定位出构成目标编码 vg 的稀疏注意力头。该编码可提前转写为即将执行的自然语言动作,并能移植到不同 token 序列实现同一子目标。交换 KV 缓存后,模型约 94% 的情况切换为另一提示词的子目标;在风险金融建议场景的 Qwen 32B 上,读出机制还能在生成前预览计划。

来源:AGI Hunt · agihunt.info