跳到正文
热点事件持续更新

2DSD投机解码加速循环语言模型

1 篇报道1 个报道来源59 分钟前更新

先了解这件事

AI 综述

minseo Kim 团队提出二维投机解码方法2DSD,用于缓解循环语言模型通过增加循环次数扩展能力时产生的KV缓存负担和延迟问题。团队称,该方法在Looped LM上将速度最高提升7.64倍,并减少KV缓存内存占用。 2DSD还可迁移至Diffusion等循环架构,吞吐量最高提升8倍。

AI 根据报道生成 · 36 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    2DSD 投机解码加速循环语言模型最高 8 倍

    minseo Kim 团队提出 2DSD(Two-Dimensional Speculative Decoding),加速通过增加深度提升能力的 Looped LM,在减少 KV cache 负担的同时将速度最高提升至 7.64 倍。该方法还可迁移至 Diffusion 等循环架构,吞吐量最高提升 8 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。