跳到正文
AGI Hunt· voooooogel·· 4 小时前AI 评分49

Chain Lens:免训练从模型激活中读出多 token 概念

Chain Lens:免训练从激活读出多 token 概念

AI 导读

vgel 与 Raymond Douglas 在 LessWrong 发表 Chain Lens 论文初稿,提出免训练从模型激活中恢复多 token 概念。方法先用 J-lens 传输隐藏状态,再借 MTP 头滚动生成 token 序列,并结合对比解码、注意力掩码和隐藏状态重注入。

来源:AGI Hunt · agihunt.info