跳到正文
AGI Hunt· AlexDorofeev·· 1 小时前AI 评分53

Wici Infer 通过混合 VRAM、RAM 与 SSD 在消费级硬件运行大模型

Wici Infer 免费在消费级硬件跑大模型,混合 VRam+Ram+SSD

AI 导读

Wici 团队免费提供 Wici Infer 本地推理方案,宣称通过模型碎片化将热点专家权重保留在快速内存,并利用 VRAM、RAM 和 SSD 三级存储服务大模型。相关 Reddit 帖子正征集实际体验,官方 benchmark 的可靠性目前尚无实测结论。

来源:AGI Hunt · agihunt.info