跳到正文
热点事件持续更新

Magnitude 用 NVMe 流式加载 MoE 专家

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开源推理引擎 Magnitude 通过只读 SSD 直连 NVMe,让常用 MoE 专家常驻显存、其余专家按需流式加载,从而降低本地混合专家模型的显存占用。Magnitude 团队称,其推理速度可比 Ollama 快 2 倍。 该引擎支持 Apple Silicon、NVIDIA、AMD、Intel 以及 CPU,采用 Apache-2.0 许可证;上述性能结论来自项目方自述。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    Magnitude 引擎以 expert streaming 直读 NVMe 突破本地 MoE 推理的 VRAM 限制

    开源推理引擎 Magnitude 通过只读 SSD 直读 NVMe,让热 expert 常驻 VRAM,其余 expert 按需流式加载,以降低本地 MoE 推理的 VRAM 依赖。文章称其比 Ollama 快 2 倍,支持 Apple Silicon、NVIDIA、AMD、Intel 和 CPU,并采用 Apache-2.0 许可证。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。