跳到正文
AGI Hunt· TheTuringPost·· 2 小时前AI 评分41

Looped Transformers 研究热潮解析:6 层循环 4 次 vs 24 层堆一遍

AI 导读

Looped Transformers 研究热潮聚焦以循环复用 Transformer 层,在总计算量相同下,用 6 个 block 循环 4 次替代 24 个 block 各计算一遍,从而大幅减少参数量。该结构源自 Universal Transformer,并可结合 ACT 动态停机,按位置决定计算步数 T。

来源:AGI Hunt · agihunt.info