跳到正文
AGI Hunt· FareedKhan-dev·· 3 小时前AI 评分74

kimi-k3-in-c 实现 Kimi K3 单 CPU 推理,最低占用 8.24GB 内存

2.78 万亿参数 Kimi K3 纯 CPU 推理,8.24GB 内存即可跑

AI 导读

GitHub 项目 kimi-k3-in-c 以单 CPU 和 8.24GB 内存运行 2.78 万亿参数的 Kimi K3。项目已获 1 万+ star,代码采用可移植 C99,零依赖且不使用 BLAS、推理框架或 GPU。实现涉及 AVX2 SIMD、mxfp4 量化、MoE 与线性注意力等技术。

来源:AGI Hunt · agihunt.info