全注意力模型可转换并恢复长上下文能力

CMU 博士生 Anupam Nayak 分享了一种将预训练的全注意力 Transformer 转换为 Gated DeltaNet 混合架构的方法，称该方法无需从头重训，仅需原始预训练预算的一小部分，即可恢复短上下文表现以及长上下文推理和检索能力。 Nayak 提出的转换管线分为三阶段：先进行表征对齐，再通过离策略蒸馏和长时间在策略蒸馏完成适应。其目标是让已训练模型在降低计算成本的同时保留关键能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。