跳到正文
AGI Hunt· arankomatsuzaki·· 3 小时前AI 评分34

新推测解码方法 DCOCO 发布:并行草稿保留上下文,最高提速 6.6 倍

新推测解码方法 DCOCO:并行草稿不丢上下文,最高提速 6.6 倍

AI 导读

新推测解码方法 DCOCO(Contextual Correction of Parallel Drafts)发布,在保留并行草稿生成优势的同时恢复预测 token 之间的上下文信息。相比普通解码,DCOCO 最高可实现 6.6 倍加速。

来源:AGI Hunt · agihunt.info