LIFT 论文提出让 Transformer 每步反馈潜状态而非单 token

LIFT 论文提出在语言模型每一步生成时，将最后一层的潜状态传回第一层，使 Transformer 向自身反馈超过一个 token 的信息。该方法仍能完全并行地进行预训练；这是 TiroshDor 与 AmosaurusRex、megamor2 合作完成的首篇论文，并附有详解推文串。