清华团队提出混合架构BLD分阶段训练法

清华THUNLP团队发布论文《Competing Learning in Hybrid Architectures》，提出BLD分阶段训练法，以缓解混合架构中循环层与注意力层因学习相同功能而产生的竞争。团队称，先学会的层会抑制其他层的学习信号，因此需要通过分阶段训练协调两类层的学习。 该方法针对同时包含循环层和注意力层的混合架构；目前报道披露的是论文提出的方法及机制解释，未提供其在具体模型和任务上的量化验证结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。