8GB显存运行125B模型的Strata配置

Reddit 用户 BleynSpecnaz 分享了 Strata 分布式推理配置：在配备 8GB 显存的 RTX 5060 Laptop、32GB 内存和 SSD 的设备上，运行 Qwen 3.8 Flash Next 125B 的 Gyro S 量化版，预填充最高约 900 tokens/s，生成约 30 tokens/s；其称效果超过自己测试过的多个 Qwen 3.6 35B 微调版。 为适配低显存，他建议将 Vision 放在 CPU 上处理，每张图约需 1—2 秒；显存超过 10GB 时再考虑开启 MTP，否则会挤占显存并降低预填充速度。上下文超过 131K 时应避免使用 --parallel，以防内存溢出，改用 --conversation-cache；无法装入显存的专家权重可通过 --mmap-experts 映射到 SSD。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。