跳到正文
AGI Hunt· hongyangzh·· 3 小时前AI 评分48

论文:有损投机解码每轮多接受 34% token,输出变长 54% 抵消收益

论文:有损投机解码每轮多接受34% token,但输出变长54%抵消收益

AI 导读

arXiv 论文《Acceptance Is Not Speed》指出,有损投机解码平均每轮多接受 1.34× token,却使补全输出变长 1.54×,几乎抵消提速收益。团队在 12 组目标-草稿模型对上测试 5 种免训练有损验证方法,发现降低验证轮数通常还会带来准确率下降,评估解码速度需兼顾输出长度、墙钟时间与准确率。

来源:AGI Hunt · agihunt.info