跳到正文
AGI Hunt· Serious_Scarcity7818·· 4 小时前精选AI 评分77

RustingStrata 更新单卡运行大模型并支持多卡提速

单卡跑百GB MoE:RustingStrata 用 CPU 卸载专家层,双卡提速 4 倍

AI 导读

RustingStrata 更新后可通过 CPU 卸载专家层,让大 Qwen MoE 模型在单张消费级 GPU 加系统内存上运行,并支持多卡按显存比例切分层。

推荐理由

更新给出了多卡切分、性能与正确性数据,可用于评估消费级硬件运行大模型及接入 Claude Code 的可行性。

来源:AGI Hunt · agihunt.info