NVIDIA展示三种MoE推理加速方法
热点事件持续更新
NVIDIA展示三种MoE推理加速方法
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
NVIDIA发布技术分析，在单台DGX Spark、批大小为1的条件下，通过Humming MXFP4 MoE内核、加载时将LM head量化为FP8，以及利用模型内置NEXTN层进行MTP投机解码，将Ling-3.0-flash的混合专家模型推理吞吐提升42.5%。 其中，FP8 LM head需设置SGLANG_ENABLE_FP8_LM_HEAD=1，且不能与基线的--enable-fp32-lm-head选项同时使用；FP8 LM head与MTP同时启用时，草稿模型必须共享完整的LM-head模块。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 04:28
NVIDIA 在 DGX Spark 上用三种优化将 Ling-3.0-flash 的 MoE 推理吞吐提升 42.5%报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- MarkTechPostNVIDIA 在 DGX Spark 上用三种优化将 Ling-3.0-flash 的 MoE 推理吞吐提升 42.5%
NVIDIA 的技术博客展示了在单台 DGX Spark 上加速 Ling-3.0-flash MoE 推理的三种方法：换成 Humming MXFP4 MoE kernel、加载时把 LM head 量化为 FP8（设置 SGLANG_ENABLE_FP8_LM_HEAD=1）、以及用模型内置 NEXTN 层做 MTP 投机解码。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。