跳到正文
AGI Hunt· victormustar·· 4 小时前AI 评分64

vLLM 发布 Kimi-K3.1-Pro-pruned75 专家剪枝版本

vLLM 剪枝 Kimi K3.1 Pro:砍掉 75% 专家,体积从 1.5TB 降至约 470GB

AI 导读

vLLM 在 Hugging Face 发布免校准的 Kimi-K3.1-Pro-pruned75,将每层 MoE 路由专家从 896 个减至 224 个,覆盖 92 层的参数量从 2.8T 降至约 700–750B,模型体积从约 1.5TB 缩至约 443–476GB。

来源:AGI Hunt · agihunt.info