跳到正文
AGI Hunt· UoE-Mlsys·· 3 小时前AI 评分34

UoE-Mlsys 发布 BitDecoding-FP4:算法与系统协同设计实现原生 FP4 KV 缓存解码

BitDecoding-FP4:算法与系统协同设计实现原生 FP4 KV 缓存解码

AI 导读

UoE-Mlsys 发布 BitDecoding-FP4,通过 FP4 量化与系统优化的协同设计(co-design),在保持精度的同时实现高吞吐的长上下文 KV cache 解码。该方案面向 LLM 推理加速场景,用原生 FP4 量化降低缓存开销并提升解码吞吐。

来源:AGI Hunt · agihunt.info