双3090改双模型单卡部署实测提速

网友 @benmagelsen 称，将两张 RTX 3090 从共同承载一个切分的 27B 模型，改为每张卡独立运行一个模型后，六路并发请求的合计吞吐量达到 243 tok/s。 此前，同一 27B 模型切分至两张显卡运行时，吞吐量仅为约 50—60 tok/s。独立部署后，一张卡运行带 262K 上下文的 Qwen 3.8 Flash-Next，另一张运行带 128K 上下文的 27B 模型；上述 243 tok/s 为这两套模型在六路并发下的合计实测值。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。