MaxDev0开源Qwen 125B的NVMe卸载方案

MaxDev0将基于NVMe SSD直接卸载的低内存部署方案移植到Qwen3.8-Flash-Next 125B，并开源部署说明、模型下载器及打包脚本，使24K个专家无需全部驻留内存，避开传统方案所需48—64GB系统内存。 据其测试，RTX 4090仅分配8GB系统内存时，8K短上下文生成速度为散文28—33 tok/s、代码19—22 tok/s，100K上下文解码速度为20.8 tok/s，262K满窗口仍约20 tok/s；RTX 3080 Laptop在16GB显存和32GB内存下运行100K上下文，解码速度约18—21 tok/s，峰值显存15.5GB。方案基于ExLlamaV3。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。