AGI Hunt· voooooogel·· 4 小时前AI 评分49
Chain Lens:免训练从模型激活中读出多 token 概念
Chain Lens:免训练从激活读出多 token 概念
AI 导读
vgel 与 Raymond Douglas 在 LessWrong 发表 Chain Lens 论文初稿,提出免训练从模型激活中恢复多 token 概念。方法先用 J-lens 传输隐藏状态,再借 MTP 头滚动生成 token 序列,并结合对比解码、注意力掩码和隐藏状态重注入。
来源:AGI Hunt · agihunt.info