AGI Hunt· Serious_Scarcity7818·· 4 小时前精选AI 评分77
RustingStrata 更新单卡运行大模型并支持多卡提速
单卡跑百GB MoE:RustingStrata 用 CPU 卸载专家层,双卡提速 4 倍
AI 导读
RustingStrata 更新后可通过 CPU 卸载专家层,让大 Qwen MoE 模型在单张消费级 GPU 加系统内存上运行,并支持多卡按显存比例切分层。
推荐理由
更新给出了多卡切分、性能与正确性数据,可用于评估消费级硬件运行大模型及接入 Claude Code 的可行性。
来源:AGI Hunt · agihunt.info