AGI Hunt· SeoulNationalUniv·· 2 小时前AI 评分48
LoopVQ 实现 0.25bit KV 缓存量化,吞吐最高提升 6.1 倍
LoopVQ 实现 0.25bit KV 缓存量化,吞吐提升最高 6.1 倍
AI 导读
首尔国立大学提出 LoopVQ,通过联合编码多个 loop 步并微调 codebook,量化 looped transformer 的 KV 缓存。结合 TaSQ 后,LoopVQ 在 0.25 bit/元素下仍保留大部分 BF16 精度,并已落地 SGLang:32K 解码延迟近乎减半,Ouro 1.4B/2.6B 峰值吞吐分别提升至 4.3 倍和 6.1 倍。
来源:AGI Hunt · agihunt.info