AGI Hunt· kbesplv·· 2 小时前AI 评分66
8×B300 实测:P/D 分离并非 LLM 推理通用方案
8×B300 实测:对齐 rank 间 prefill 后,P/D 分离并非 LLM 推理银弹
AI 导读
warmctl.io 的实测显示,在单节点 8×B300、DeepSeek-V4.1-Flash 和专家并行环境下,P/D 分离并非总是更优。单 rank 执行 prefill 会拖慢全部 8 个 GPU,吞吐从 18.7 降至 14.1 steps/s;将 prefill 按 8 个一组对齐到各 rank 后,U+V 回到 1.00。
来源:AGI Hunt · agihunt.info