跳到正文
AGI Hunt· simonguozirui·· 1 小时前精选AI 评分81

Inkling 2 Mini 本地运行指南:26.4B MoE 支持 1M 上下文

Inkling 2 Mini 本地跑通:26.4B MoE 仅需 16GB 内存,编码成绩同级最强

AI 导读

Unsloth 发布 Inkling 2 Mini 的 GGUF 量化与本地运行指南,展示这款 26.4B 总参数、5.4B 激活参数的 MoE 模型通过 Unsloth 和 llama.cpp 运行。

推荐理由

指南给出各量化档位的内存需求与运行方式,为评估本地编码和智能体工作负载的部署成本提供参照。

来源:AGI Hunt · agihunt.info