MarkTechPost· Asif Razzaq·· 5 小时前AI 评分72
NVIDIA 在 DGX Spark 上用三种优化将 Ling-3.0-flash 的 MoE 推理吞吐提升 42.5%
NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%
AI 导读
NVIDIA 的技术博客展示了在单台 DGX Spark 上加速 Ling-3.0-flash MoE 推理的三种方法：换成 Humming MXFP4 MoE kernel、加载时把 LM head 量化为 FP8（设置 SGLANG_ENABLE_FP8_LM_HEAD=1）、以及用模型内置 NEXTN 层做 MTP 投机解码。
来源：MarkTechPost · marktechpost.com