AGI Hunt· StewartalsopIII·· 2 小时前AI 评分56
双 3090 部署两路独立模型,六路并发实测合计 243 tok/s
双 3090 改单卡单模型,六路并发实测合计 243 tok/s
AI 导读
网友 @benmagelsen 将双 3090 从运行一个切分的 27B 模型改为每卡独立运行一个模型,六路并发实测合计吞吐达到 243 tok/s。此前切分方案仅约为 50-60 tok/s,其中一张卡运行带 262K 上下文的 Qwen 3.8 Flash-Next,另一张运行带 128K 上下文的 27B 模型。
来源:AGI Hunt · agihunt.info