AGI Hunt· Massachusetts-Institute-of-Technology·· 3 小时前AI 评分45
MIT 单作者论文:Soft-MTP 修正多 token 预测噪声梯度,零成本提升推理与投机解码
MIT 单作者论文:Soft-MTP 修正多 token 预测的噪声梯度,零成本提升推理与投机解码
AI 导读
MIT 的 Jayden Teoh 发布单作者预训练论文「Multi-Token Prediction Done Right」,提出 Soft-MTP 移除多 token 预测中的噪声梯度,并提升困惑度、投机解码与推理能力。该方法通过直通 KL 恢复技巧保持 NTP 损失与梯度不变,同时回收 KL 梯度,且不增加额外成本。
来源:AGI Hunt · agihunt.info