跳到正文
AGI Hunt· gdm3000·· 3 小时前AI 评分30

LightMTP:轻量潜空间多 token 预测助 LLM 预训练学会提前规划

AI 导读

LightMTP 在 LLM 预训练阶段加入两种轻量潜空间多 token 预测变体,探索让模型提前规划。LightMTP-Single 用单个 cosine loss 对齐未来 token 表示,LightMTP-Concat 为每个 offset 设置一个 cosine loss。

来源:AGI Hunt · agihunt.info