跳到正文
AGI Hunt· TheTuringPost·· 53 分钟前AI 评分28

图解 Looped Transformer:6 个块循环 4 次,以共享权重提升有效深度

图解 Looped Transformer:6 个块跑 4 遍,权重不变让隐状态循环

AI 导读

Looped Transformer 架构让同一个 Transformer 块或堆叠多次执行,并将每轮输出作为下一轮输入。标准 24 个块单次执行可对比 6 个块循环 4 次,两者均为 24 次块应用、具备相同有效深度,但后者无需为每轮配置独立权重;循环次数还可固定或自适应停止,pass 之间不需要新文本 token。

来源:AGI Hunt · agihunt.info