跳到正文
AGI Hunt· ChengleiSi·· 3 小时前AI 评分54

清华团队提出混合架构 BLD 分阶段训练法,缓解循环层与注意力层竞争学习

清华团队发现混合架构「竞争学习」:冻结循环层让注意力学会检索

AI 导读

清华 THUNLP 团队发布论文《Competing Learning in Hybrid Architectures》,指出混合架构中的循环层与注意力层会竞争学习同一功能,先学会的层会抑制其他层的学习信号。

来源:AGI Hunt · agihunt.info