Latent Feedback 方法：4 行代码最高节省 46% 预训练算力

新研究提出 Latent Feedback，将 Transformer 顶层隐状态反馈至输入层，2 epoch 预算下最高节省 46% 训练算力。100 unique tokens/parameter 时节省 15%，400 时节省 46%；60M 模型节省 10% 独立数据，778M 模型节省 20%。该方法仅需 4 行代码，scaling law 预测节省幅度随模型规模持续增长。