四款开放权重模型本地部署选型

drdanielbender 盘点四款适合本地合规运行的模型，认为能在现有 GPU 上部署比单纯追求智能更重要。Qwen3.8-27B 被评为当前最强的小参数模型，仅 27B 参数便在 Artificial Analysis 榜单表现突出，经 Q4 量化后可装入 24GB 显存运行。

作者推荐 Qwen3.8-27B 作为本地小模型首选，其 27B 参数在 Artificial Analysis 智能指数中获得 20 分。经过 Q4 量化后，该模型可装入 24GB GPU（如 RTX 3090）或 32GB 内存的 Mac，但上下文长度会影响实际使用。

一位博主按 Artificial Analysis 智能指数对开源及开放权重模型分层推荐，DeepSeek V4.1 Flash 以 33 分成为 API 甜点位。Kimi K3.1 Pro 以 46 分在开源阵营居首。面向本地部署的 Qwen3.8-Flash-Next 为 180B 总参、6B 激活、智能指数 29 分，经量化与显存卸载后可在消费级游戏显卡上运行。

作者依据 Artificial Analysis 智能指数比较 DeepSeek V4.1 Flash 与 Kimi K3.1 Pro，两款开放权重模型的得分分别为 33 分和 46 分。

Kimi K3.1 Pro 在 Artificial Analysis 智能指数上以 46 分居开源权重模型之首，总参数量 2.8T、激活参数 104B，但也是清单中成本最高的模型。作者整理的 4 款候选模型还覆盖小参数 Qwen 模型，核心判断是模型选择还需考虑地区合规性、GPU 部署能力和调用成本。