跳到正文
AGI Hunt· fatihdin4en·· 1 小时前AI 评分48

Goodfire 解剖 Inkling 2 Mini:循环 Transformer 的层如何读写“未来”的自己

Goodfire 解剖 Inkling 2 Mini:循环模型的层能读写「未来」的自己

AI 导读

Goodfire 获得 Thinking Machines 的 26B 循环 Transformer 模型 Inkling 2 Mini 早期权重访问,研究其内部信息流。逐层分解显示,循环模型的层既可写入自身,也能直接读取“未来”层的信息,其层间、块间与循环间协调方式有别于传统 Transformer 直觉。

来源:AGI Hunt · agihunt.info