InferSSD开源流式读取MoE专家权重
热点事件持续更新
InferSSD开源流式读取MoE专家权重
1 篇报道1 个报道来源37 分钟前更新
先了解这件事
AI 综述
InferSSD 项目开源了基于 llama.cpp 的本地推理方案，将 MoE 模型专家权重存放于 SSD，并在推理时按需流式读取，使设备在显存或内存不足时仍可运行相关大模型。 项目可直接使用现成 GGUF 权重运行 Qwen3.6-35B 和 Qwen3.8 Flash Next，目前支持 macOS/Metal 与 Linux/CUDA，Windows 支持仍在开发中；项目采用 Apache-2.0 协议。
AI 根据报道生成 · 15 分钟前更新
最新进展11月15日 05:11
InferSSD 开源，支持从 SSD 流式读取 MoE 专家权重报道时间线
沿着报道，了解事件的不同侧面。
11月15日
- AGI HuntInferSSD 开源，支持从 SSD 流式读取 MoE 专家权重
开源项目 InferSSD 基于 llama.cpp，将 MoE 模型的专家权重放在 SSD 上并按需流式读取，使设备在显存或内存不足时也能运行大模型。项目可用现成 GGUF 权重运行 Qwen3.6-35B 与 Qwen3.8 Flash Next，支持 macOS/Metal 和 Linux/CUDA，Windows 支持仍在开发中，采用 Apache-2.0 协议。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。