LeapQuant发布免训练循环状态量化方法
热点事件持续更新
LeapQuant发布免训练循环状态量化方法
1 篇报道1 个报道来源40 分钟前更新
先了解这件事
AI 综述
LeapQuant提出并公布免训练的8-bit/4-bit循环状态量化方法，将线性注意力模型的状态压缩至低比特，精度与FP32基线相当。在NVIDIA B200、RTX PRO 6000和RTX 5090上的端到端验证显示，平均推理加速为1.57倍；其线性注意力内核最高提速4.25倍，端到端吞吐最高提升约2倍，显存占用最多降低56%。
AI 根据报道生成 · 28 分钟前更新
最新进展11月12日 06:45
LeapQuant 实现免训练量化线性注意力，B200 内核最高提速 3.7 倍报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AGI HuntLeapQuant 实现免训练量化线性注意力，B200 内核最高提速 3.7 倍
LeapQuant 提出免训练的 8-bit/4-bit 循环状态量化方法，精度与 FP32 基线相当。其线性注意力内核最高提速 4.25 倍，端到端推理吞吐最高提升约 2 倍，显存占用最多降低 56%。该方法已在 NVIDIA B200、RTX PRO 6000 与 RTX 5090 上完成端到端验证，平均端到端加速为 1.57 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。