跳到正文
AGI Hunt· rickasaurus·· 2 小时前AI 评分64

Magnitude 引擎以 expert streaming 直读 NVMe 突破本地 MoE 推理的 VRAM 限制

稀疏 MoE 让 SSD 成本地 AI 瓶颈,Magnitude 引擎直读 NVMe 破 VRAM 墙

AI 导读

开源推理引擎 Magnitude 通过只读 SSD 直读 NVMe,让热 expert 常驻 VRAM,其余 expert 按需流式加载,以降低本地 MoE 推理的 VRAM 依赖。文章称其比 Ollama 快 2 倍,支持 Apple Silicon、NVIDIA、AMD、Intel 和 CPU,并采用 Apache-2.0 许可证。

来源:AGI Hunt · agihunt.info