AGI Hunt· techNmak·· 3 小时前AI 评分52
投机解码数学拆解:接受率与候选长度的速度权衡
投机解码数学拆解:接受率 α=1−TV(p,q),K 越大未必越快
AI 导读
投机解码通过 draft 模型生成 K 个候选 token,再由目标模型并行验证,并借助修正采样严格保持目标分布。单 token 期望接受率 α=1−TV(p,q);K=3、接受率恒为 0.7 时,每轮期望产出约 2.53 个 token,但计算、验证、KV-cache、batch size 与硬件开销可能使较大的 K 反而更慢。
来源:AGI Hunt · agihunt.info