单卡 H200 运行 MoE 推理的三个工程思路

这篇推理工程归纳提出三种做法，包括削减 expert 数量并用 RL 保持精度、跨会话复用 prefill，以及组合 TP2×DP2 并行推理。文中指出，expert 减少后需更新的参数更少，并提出一张 H200 能否承载相关模型这一问题。