跳到正文
AGI Hunt· burkov·· 1 小时前AI 评分41

latent lookahead 训练法:让模型在隐空间预演未来数步再生成 token

Latent Lookahead 训练法让模型内部预演未来数步再出词

AI 导读

latent lookahead 训练与生成方法让模型在隐空间中将内部表征向未来延伸数步,并在产出下一个可见 token 前利用较后步信息修正早期预测。训练时以真实后续序列为目标,使模型能为困难选择额外投入算力,而无需先提交可见文字序列。实验主要在从零训练的小模型上进行。

来源:AGI Hunt · agihunt.info