8GB显存运行115B MoE实操方案
热点事件持续更新
8GB显存运行115B MoE实操方案
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
jonathanx37在Reddit分享了借助llama.cpp运行Qwen-Flash-Next的实操方法，称该115B MoE模型（6B激活参数、262K上下文）可在8GB显存和24GB内存设备上运行，测得预填充70 T/s、生成约8 T/s。 方案采用选择性MoE卸载，将多数专家权重保留在内存、较小的专家放入显存，并把n-gram缓存置于高速SSD；量化采用折算后约1.89 bit/参数的3.5 BPW GSQ RCO“Coder”。总内存约32GB也可运行，但需缩短上下文；受MMAP影响，首次运行偏慢，第二次才测得准确速度。
AI 根据报道生成 · 3 小时前更新
最新进展10月24日 23:21
Qwen-Flash-Next：8GB 显卡运行 115B MoE 与 262K 上下文的 llama.cpp 实操指南报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- AGI HuntQwen-Flash-Next：8GB 显卡运行 115B MoE 与 262K 上下文的 llama.cpp 实操指南
Qwen-Flash-Next（115B MoE、6B 激活参数、262K 上下文）借助 llama.cpp 在 8GB VRAM 和 24GB RAM 上运行，预填充 70 T/s、生成约 8 T/s。方案以选择性 MoE offload 加速，并将 n-gram 缓存放在高速 SSD；3.5 BPW GSQ RCO "Coder" 量化折算原参数量为 1.89 bit/参数。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月25日 00:00
- 近 24 小时变化
- –
02.557.510
10月25日01:0002:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。