跳到正文
AGI Hunt· AIFlow_ML·· 3 小时前AI 评分55

MiniMax 新开源模型显存需求实测:Q4 量化占用约 20.8GB

MiniMax 新开源模型显存需求实测:Q4 量化 20.8GB 可跑 24G 卡

AI 导读

网友对 MiniMax 新开源模型的部署成本进行测算,BF16 全精度权重约 66GB,Bartowski 提供的 GGUF Q4KM 量化版约 20.8GB,可在 24GB 显存显卡上运行。按 8 个 KV heads、headdim 128 和 BF16 精度估算,32K tokens 上下文的 KV cache 约需 6.5GB,512K 上下文约需 104GB。

来源:AGI Hunt · agihunt.info