跳到正文
AGI Hunt· LucaAmb·· 4 小时前AI 评分36

DStill 论文:蒸馏多步去噪轨迹,块扩散投机解码提速至 6.45 倍

AI 导读

DStill 论文提出两阶段轨迹一致性蒸馏,在块扩散投机解码中以单次前向完成单步起草,并通过课程学习缓解 token 因子化误差导致的草稿不一致。该方法在三个模型家族的推理、数学和代码基准上提升接受长度,相比自回归解码最高提速 6.45×。

来源:AGI Hunt · agihunt.info