2DSD投机解码加速循环语言模型
热点事件持续更新
2DSD投机解码加速循环语言模型
1 篇报道1 个报道来源59 分钟前更新
先了解这件事
AI 综述
minseo Kim 团队提出二维投机解码方法2DSD,用于缓解循环语言模型通过增加循环次数扩展能力时产生的KV缓存负担和延迟问题。团队称,该方法在Looped LM上将速度最高提升7.64倍,并减少KV缓存内存占用。 2DSD还可迁移至Diffusion等循环架构,吞吐量最高提升8倍。
AI 根据报道生成 · 36 分钟前更新
最新进展11月20日 16:56
2DSD 投机解码加速循环语言模型最高 8 倍报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI Hunt2DSD 投机解码加速循环语言模型最高 8 倍
minseo Kim 团队提出 2DSD(Two-Dimensional Speculative Decoding),加速通过增加深度提升能力的 Looped LM,在减少 KV cache 负担的同时将速度最高提升至 7.64 倍。该方法还可迁移至 Diffusion 等循环架构,吞吐量最高提升 8 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。