AGI Hunt· teortaxesTex·· 1 小时前AI 评分49
Looped CED 论文:循环复用编码器 KV 缓存,节省 36.8 倍内存
Looped CED 论文:循环复用编码器 KV 缓存省 36.8 倍内存
AI 导读
Looped CED 通过反复处理编码器层并仅保留最后一轮 KV 缓存,在 552B DeepSeek 模型的 8 轮循环测试中将缓存内存降低 36.8 倍,吞吐最高提升 3.6 倍。但编码器推理开销会抵消部分收益,应用于 V4.1-Flash 时需评估 147 层,整体速度约慢 7.4 倍。
来源:AGI Hunt · agihunt.info