跳到正文
AGI Hunt· LysandreJik·· 3 小时前AI 评分21

投机解码如何从并行猜测演进到小模型顺序起草

投机解码演进:从并行猜测到小模型顺序起草

AI 导读

投机解码从单次并行生成多个独立猜测 token,演进为由小型 drafter 模型在主模型前顺序起草 k 个猜测 token。Blockwise Parallel Decoding 的 token 相互独立、命中率较低;改进方案让第 N+2 个 token 看到 N+1,保留更多猜测,即使 drafter 多跑 k 次小前向,整体生成仍会加速。

来源:AGI Hunt · agihunt.info