两台无GPU迷你PC串联运行Qwen模型

Reddit 用户 WorldlyAd7946 用两台合计约 600 英镑的骁龙迷你 PC 串联，在无 GPU 环境下本地运行百 GB 级量化 Qwen 模型，Qwen3.8 Flash Next 实测生成速度达 46 tok/s。 测试还涉及 Qwen3.6 35B A3B。作者转向开源推理引擎 Janas，并参与 ARM NEON 内核、Windows on ARM 构建及缓存修复，随后用尚未发布的自研引擎 ToRc 测得单机读取 228 tok/s、生成 43.4 tok/s，启用 MTP 后生成 49.5 tok/s，高于 llama.cpp 单机的 133.8 tok/s 和 25.8 tok/s。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。