跳到正文
AGI Hunt· teortaxesTex·· 1 小时前AI 评分49

Looped CED 论文:循环复用编码器 KV 缓存,节省 36.8 倍内存

Looped CED 论文:循环复用编码器 KV 缓存省 36.8 倍内存

AI 导读

Looped CED 通过反复处理编码器层并仅保留最后一轮 KV 缓存,在 552B DeepSeek 模型的 8 轮循环测试中将缓存内存降低 36.8 倍,吞吐最高提升 3.6 倍。但编码器推理开销会抵消部分收益,应用于 V4.1-Flash 时需评估 147 层,整体速度约慢 7.4 倍。

来源:AGI Hunt · agihunt.info