跳到正文
热点事件持续更新

Looped CED以循环复用降低缓存内存

1 篇报道1 个报道来源58 分钟前更新

先了解这件事

AI 综述

Looped CED论文提出让因果编码器—解码器反复处理编码器层并只保留最后一轮KV缓存;在552B DeepSeek模型的8轮循环服务测试中,缓存内存降低36.8倍,吞吐最高提升3.6倍。 这一方案以训练时采用不同循环轮数、使表示收敛为前提,不能直接外推到未经过循环训练的552B模型。推理时编码器仍需逐轮完整运行;若用于V4.1-Flash,需评估147层,整体速度反而可能比正常运行慢约7.4倍,因此解码吞吐提升不等于端到端提速。

AI 根据报道生成 · 24 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    Looped CED 论文:循环复用编码器 KV 缓存,节省 36.8 倍内存

    Looped CED 通过反复处理编码器层并仅保留最后一轮 KV 缓存,在 552B DeepSeek 模型的 8 轮循环测试中将缓存内存降低 36.8 倍,吞吐最高提升 3.6 倍。但编码器推理开销会抵消部分收益,应用于 V4.1-Flash 时需评估 147 层,整体速度约慢 7.4 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。