AGI Hunt· gdm3000·2026-10-27 00:58· 3 小时前AI 评分30LightMTP:轻量潜空间多 token 预测助 LLM 预训练学会提前规划AI 导读LightMTP 在 LLM 预训练阶段加入两种轻量潜空间多 token 预测变体,探索让模型提前规划。LightMTP-Single 用单个 cosine loss 对齐未来 token 表示,LightMTP-Concat 为每个 offset 设置一个 cosine loss。来源:AGI Hunt · agihunt.infoAI 编码推理能力数据与训练论文研究#论文/研究#推理#编码#数据/训练查看事件全部后续