AGI Hunt· Serious_Scarcity7818·· 1 小时前AI 评分60
RustingStrata 1.3.0 发布:支持 GPU 与 CPU 混合运行大模型
Rust 写的 GGUF 引擎 RustingStrata 1.3.0:大模型显存不够也跑得动
AI 导读
RustingStrata 1.3.0 发布,可将常用 expert 保留在 GPU、其余部分放在 CPU 运行超出显存容量的大模型。新增 rustingstrata interface,可扫描本机目录、Hugging Face 缓存和 llama.cpp 缓存并生成完整命令,同时支持 Q40 量化、多模型加载和 `--auto-unload` 空闲自动卸载。
来源:AGI Hunt · agihunt.info