跳到正文
AGI Hunt· AlpinDale·· 1 小时前AI 评分52

Kimi-K3.1-Pro-NF12实现MXFP4 expert scales无损压缩

无损压缩 MXFP4 尺度,Kimi-K3.1-Pro 八卡省出 50.2 GiB 内存

AI 导读

AlpinDale向dphnAI/sonar提交PR,为Kimi-K3.1-Pro-NF12实现MXFP4 expert scales无损压缩。在8×B300、131K输入/2K输出且无投机解码的测试中,八卡共节省50.2 GiB内存,单卡可用KV显存增加12.5%。代价是输出吞吐下降2.3%–3.3%,每token延迟增加约3.6%–4.8%。

来源:AGI Hunt · agihunt.info