跳到正文
AGI Hunt· MiniMax_AI·· 2 小时前精选AI 评分78

MiniMax 致谢社区,428B 的 M3.1 Flash 量化后可用 143.9GB 内存本地运行

MiniMax 致谢社区:428B 的 M3.1 Flash 量化后 143.9GB 可本地跑

AI 导读

MiniMax 致谢社区为 428B 参数的 M3.1 Flash 开发低比特量化方案,使模型可在更多硬件上本地运行。UnslothAI 的 2-bit 动态 GGUF 权重仅需 143.9GB,并完成编程、工具调用等负载的校准与保真测试;社区还提出 DGX-Spark、Apple Silicon、AMD Instinct 和 4× RTX 3090 等部署方案。

推荐理由

社区针对 428B 模型给出多种低比特量化与专家卸载方案,为评估其本地部署门槛和硬件适配提供参考。

来源:AGI Hunt · agihunt.info