投机解码转向小模型顺序起草

投机解码正在从主模型一次并行生成多个相互独立的猜测 token，演进为让小型 drafter 模型在主模型前顺序起草 k 个 token。新方案中，后一个 token 能看到前一个 token，减少独立猜测造成的命中率损失。 报道称，即使小型 drafter 为保留这些依赖关系需要执行 k 次前向计算，整体生成速度仍可能高于原方案，但目前结论限于该顺序起草方法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。