Qwen 3.8 Flash本地推理实测

Rozzemak 称，在 RTX 5090 32GB 显存和 64GB 内存配置下运行 Qwen 3.8 Flash Next NVFP4，改用 CachyOS 后，prefill 速度达到 9K tps，decode 约 200 tps，并支持 256K 上下文。 他表示，Windows 11 常驻占用约 1.5GB 显存和 6GB 内存，使专家权重溢出至内存并加重 CPU 负担，导致 prefill 和 decode 速度下降约 70%。其部署还加入视觉适配器，并在另一台机器上用小模型承担 OCR 和视觉任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。