Qwen单卡多slot实测提升总吞吐
热点事件持续更新
Qwen单卡多slot实测提升总吞吐
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
c2btw在AMD 7900 XTX上通过HIP/ROCm运行Qwen 3 27B级模型，实测发现同一GPU开启多个推理slot时，总tokens/s显著高于单slot。 但slot增加会压缩每个slot可用的上下文，且许多任务无法拆成互不依赖的子任务。作者尝试让编排slot拆分prompt并分发给其他slot，任务完成后释放编排slot占用的显存，并计划接入决策模型判断是否值得拆分。
AI 根据报道生成 · 51 分钟前更新
最新进展11月8日 22:21
Qwen 单卡多 slot 并行提升总吞吐，作者求解上下文与任务拆分难题报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- AGI HuntQwen 单卡多 slot 并行提升总吞吐，作者求解上下文与任务拆分难题
作者在 7900 XTX 上使用 HIP/ROCm 运行 Qwen 3 27B 级模型，发现同一 GPU 开多个推理 slot 的总 tokens/s 显著高于单 slot。现有方案面临 slot 越多可用上下文越小，以及任务难以拆成互不依赖子任务的问题。作者设想由编排 slot 拆分 prompt、分发子任务，完成后释放显存，并接入决策模型判断任务是否值得拆分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。