AGI Hunt· Eliezer Shlomi·· 2 小时前AI 评分38
SPOT:通过预测提交顺序加速扩散语言模型解码,最高 6.8 倍
SPOT:通过提交顺序预测将扩散语言模型解码加速最高6.8倍
AI 导读
SPOT 将投机解码思想适配到扩散语言模型,通过预测 token 的生成顺序,先提交高置信 token,再并行验证候选,最多减少 6.8 倍前向传播次数。该方法保持精确解码,不改变输出分布,并在 SDAR-8B/GSM8K 上与 Draft-free、Spiffy 等基线进行了回放对比。
来源:AGI Hunt · agihunt.info