AGI Hunt· burny_tech·· 3 小时前AI 评分43
循环 Transformer 怎么堆才对:只循环中间层,Huginn 架构全面胜出
循环 Transformer 怎么堆才对:只循环中间层,Huginn 架构全面胜出
AI 导读
IFMUSCCMU 团队(含 Eric Xing、Xuezhe Ma)在论文《Towards Looped Models Done Right》第一部分中拆解循环语言模型的三种设计维度,发现只循环中间层的「序言-循环块-尾声」三明治架构(Huginn 式)优于重复循环整个 Transformer。
来源:AGI Hunt · agihunt.info