AGI Hunt· Civil_Fee_7862·· 2 小时前AI 评分30
四块 RTX 3090 运行 Qwen3.8 Flash Next:推理引擎选择引发热议
四卡 3090 跑 Qwen3.8 Flash Next:引擎怎么选引热议
AI 导读
Reddit 用户计划添置第四块 RTX 3090,将 Qwen3.8 Flash Next 作为本地日常模型,并征求推理引擎建议。现有方案以 vLLM 运行 Qwen3.8-27b,生成速度约 100+ tps、prefill 约 3000 tps;Strata 凭借 96GB VRAM 理论上可全量装入显存,但需预留一张卡处理图像。
来源:AGI Hunt · agihunt.info