AGI Hunt· AlexDorofeev·· 1 小时前AI 评分53
Wici Infer 通过混合 VRAM、RAM 与 SSD 在消费级硬件运行大模型
Wici Infer 免费在消费级硬件跑大模型,混合 VRam+Ram+SSD
AI 导读
Wici 团队免费提供 Wici Infer 本地推理方案,宣称通过模型碎片化将热点专家权重保留在快速内存,并利用 VRAM、RAM 和 SSD 三级存储服务大模型。相关 Reddit 帖子正征集实际体验,官方 benchmark 的可靠性目前尚无实测结论。
来源:AGI Hunt · agihunt.info