跳到正文
AGI Hunt· LucaAmb·· 1 小时前AI 评分45

2DSD 投机解码加速循环语言模型最高 8 倍

AI 导读

minseo Kim 团队提出 2DSD(Two-Dimensional Speculative Decoding),加速通过增加深度提升能力的 Looped LM,在减少 KV cache 负担的同时将速度最高提升至 7.64 倍。该方法还可迁移至 Diffusion 等循环架构,吞吐量最高提升 8 倍。

来源:AGI Hunt · agihunt.info