AGI Hunt· Ziqi Jin·· 3 小时前AI 评分42
ProVe 反转投机解码角色:大模型提块、小模型验证,提速 2.5-2.7×
ProVe 反转投机解码角色:大模型提块小模型验证,提速 2.5-2.7×
AI 导读
ProVe 反转投机解码角色,由微调后的 32B 大模型一次预测整块未来 token,再通过额外前向传播验证,实现 2.5-2.7× AR 吞吐提升。块大小为 16 时,GSM8K 上提出块的平均 AR 匹配前缀达到 6.6 tokens。无需训练独立 draft head,3B 验证器版本平均提速 2.7×,精度低 2.6 个百分点;ProVe-lossless 可复现贪婪 AR 解码。
来源:AGI Hunt · agihunt.info