AGI Hunt· victormustar·· 4 小时前AI 评分64
vLLM 发布 Kimi-K3.1-Pro-pruned75 专家剪枝版本
vLLM 剪枝 Kimi K3.1 Pro:砍掉 75% 专家,体积从 1.5TB 降至约 470GB
AI 导读
vLLM 在 Hugging Face 发布免校准的 Kimi-K3.1-Pro-pruned75,将每层 MoE 路由专家从 896 个减至 224 个,覆盖 92 层的参数量从 2.8T 降至约 700–750B,模型体积从约 1.5TB 缩至约 443–476GB。
来源:AGI Hunt · agihunt.info