首尔国立大学提出LoopVQ量化方法
热点事件持续更新
首尔国立大学提出LoopVQ量化方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
首尔国立大学提出并验证 LoopVQ，通过联合编码多个 loop 步并微调 codebook，量化 looped transformer 的 KV 缓存；结合 TaSQ 后，在每元素 0.25 bit 条件下仍保留大部分 BF16 精度。该方法已接入 SGLang，32K 解码延迟近乎减半，Ouro 1.4B/2.6B 模型的峰值吞吐最高分别提升 4.3 倍和 6.1 倍。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 15:17
LoopVQ 实现 0.25bit KV 缓存量化，吞吐最高提升 6.1 倍报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI HuntLoopVQ 实现 0.25bit KV 缓存量化，吞吐最高提升 6.1 倍
首尔国立大学提出 LoopVQ，通过联合编码多个 loop 步并微调 codebook，量化 looped transformer 的 KV 缓存。结合 TaSQ 后，LoopVQ 在 0.25 bit/元素下仍保留大部分 BF16 精度，并已落地 SGLang：32K 解码延迟近乎减半，Ouro 1.4B/2.6B 峰值吞吐分别提升至 4.3 倍和 6.1 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。