latent lookahead让模型在隐空间预演未来

burkov介绍了一种latent lookahead训练与生成方法：模型先在隐空间中把内部表征向未来延伸数步，再利用较后步信息修正早期预测，然后生成下一个可见token。 训练时，该方法以真实后续序列为目标，使模型在难以选择时可以在不先提交可见文字的情况下额外投入计算。相关实验主要在从零训练的小模型上进行，报道未提供其在大模型上的验证结果。

AI 根据报道生成 · 26 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。