跳到正文
AGI Hunt· tianyin_xu·· 54 分钟前AI 评分51

LeapQuant 实现免训练量化线性注意力,B200 内核最高提速 3.7 倍

LeapQuant 免训练量化线性注意力,B200 内核最高提速 3.7 倍

AI 导读

LeapQuant 提出免训练的 8-bit/4-bit 循环状态量化方法,精度与 FP32 基线相当。其线性注意力内核最高提速 4.25 倍,端到端推理吞吐最高提升约 2 倍,显存占用最多降低 56%。该方法已在 NVIDIA B200、RTX PRO 6000 与 RTX 5090 上完成端到端验证,平均端到端加速为 1.57 倍。

来源:AGI Hunt · agihunt.info