CMU 博士生分享：全注意力 Transformer 训练后期可改造为混合架构

CMU 博士生 Anupam Nayak 分享了将预训练全注意力 Transformer 转换为高效混合架构 Gated DeltaNet 的方法，无需从头重训。三段管线结合表征对齐、离策略蒸馏与长时间在策略蒸馏，仅用原始预训练预算的一小部分，即可恢复短上下文性能以及长上下文推理和检索能力。