跳到正文
AGI Hunt· Present_Resource4022·· 8 小时前AI 评分70

Qwen 量化模型实测:12GB 显存支持 131k 上下文

本地 LLM 迎黄金时代:Qwen 量化模型 12GB 显存跑 131k 上下文

AI 导读

Reddit 用户分享了 Qwen Flash-Next / Qwen-27B 的本地量化部署方案,在 12GB 显存和 32GB 内存下支持 131k 上下文。该配置采用 1k prefill,平均解码速度为 50 tps,并通过 Strata 引擎自动调优;最小量化版本目标为 8GB 显存和 32GB 内存。

来源:AGI Hunt · agihunt.info