InferSSD 开源，支持从 SSD 流式读取 MoE 专家权重

开源项目 InferSSD 基于 llama.cpp，将 MoE 模型的专家权重放在 SSD 上并按需流式读取，使设备在显存或内存不足时也能运行大模型。项目可用现成 GGUF 权重运行 Qwen3.6-35B 与 Qwen3.8 Flash Next，支持 macOS/Metal 和 Linux/CUDA，Windows 支持仍在开发中，采用 Apache-2.0 协议。