AGI Hunt· jonathanx37·· 4 小时前AI 评分44
Qwen-Flash-Next:8GB 显卡运行 115B MoE 与 262K 上下文的 llama.cpp 实操指南
8GB 显卡跑 115B MoE 达 262K 上下文,70 token/s 实操指南
AI 导读
Qwen-Flash-Next(115B MoE、6B 激活参数、262K 上下文)借助 llama.cpp 在 8GB VRAM 和 24GB RAM 上运行,预填充 70 T/s、生成约 8 T/s。方案以选择性 MoE offload 加速,并将 n-gram 缓存放在高速 SSD;3.5 BPW GSQ RCO "Coder" 量化折算原参数量为 1.89 bit/参数。
来源:AGI Hunt · agihunt.info