Betelgeuse让68GB量化MoE跑上游戏PC

开发者 zyxciss 发布 Betelgeuse，这是 llama.cpp 的分支，并计划向上游提交 PR。其方法是让 68GB 的 Qwen 3.8 Flash Next GSQ-RCO-IQ2XS 量化模型在 RTX 3060 12GB、16GB DDR4 的游戏 PC 上运行。 据 zyxciss 实测，在 CachyOS/Arch 严格限制内存为 12GB 的环境中，生成速度持续达到 22 tok/s，峰值 48 tok/s。该方案未剪裁路由门控；作者比对 28,080 条路由记录和 576 个生成 token，称结果与官方输出逐字节一致。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。