跳到正文
AGI Hunt· BleynSpecnaz·· 3 小时前AI 评分69

Strata 分布式推理实测:8GB 显存运行 Qwen 3.8 Flash Next 125B

8GB 显存跑 125B 模型:Strata 分布式推理实测 900 t/s 预填充

AI 导读

Reddit 用户 BleynSpecnaz 在 RTX 5060 Laptop(8GB 显存)、32GB RAM 和 SSD 上用 Strata 运行 Qwen 3.8 Flash Next 125B 量化版(Gyro S),实测预填充最高约 900 t/s、生成约 30 t/s。

来源:AGI Hunt · agihunt.info