开发者开源LLVQ量化Qwen3模型
热点事件持续更新
开发者开源LLVQ量化Qwen3模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 Fuzzy-Layer9967 用 Rust 和自写 CUDA 内核独立实现 LLVQ 量化，发布 Qwen3 4B、8B、14B 三个模型，权重已上传 Hugging Face，压缩至每参数约 2.70–2.73 比特，生成质量超过 IQ2_S。 代价是解码速度慢于 llama.cpp，后者快 34–64 tok/s；作者称目前只有 L40S 能看到明显收益。LLVQ 权重可在 Hugging Face 获取，但实际速度与硬件表现仍受上述限制。
AI 根据报道生成 · 2 小时前更新
最新进展11月15日 06:10
Leech 格点量化将 Qwen3 压缩至约 2.7 比特，质量超过 IQ2_S 但速度更慢报道时间线
沿着报道，了解事件的不同侧面。
11月15日
- AGI HuntLeech 格点量化将 Qwen3 压缩至约 2.7 比特，质量超过 IQ2_S 但速度更慢
作者用 Rust 和自写 CUDA kernel 独立实现 LLVQ（Leech lattice quantization）论文，完成 Qwen3 4B、8B、14B 量化并将权重上传 Hugging Face。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。