Soft-MTP优化多Token预测训练

MIT研究员Jayden Teoh发布单作者预训练论文《Multi-Token Prediction Done Right》，提出Soft-MTP方法，称其可消除多Token预测中的噪声梯度，在不增加额外成本的情况下改善困惑度、投机解码和推理表现。 该方法利用直通KL技巧，在保持下一Token预测损失及其梯度不变的同时回收KL梯度，用于降低多Token预测训练中的噪声干扰。相关效果为论文作者报告的结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。