AGI Hunt· c2btw·· 2 小时前AI 评分52
Qwen 单卡多 slot 并行提升总吞吐,作者求解上下文与任务拆分难题
单卡多 slot 并行跑 Qwen 提升总吞吐,作者求解上下文与任务拆分难题
AI 导读
作者在 7900 XTX 上使用 HIP/ROCm 运行 Qwen 3 27B 级模型,发现同一 GPU 开多个推理 slot 的总 tokens/s 显著高于单 slot。现有方案面临 slot 越多可用上下文越小,以及任务难以拆成互不依赖子任务的问题。作者设想由编排 slot 拆分 prompt、分发子任务,完成后释放显存,并接入决策模型判断任务是否值得拆分。
来源:AGI Hunt · agihunt.info