跳到正文
热点事件持续更新

开源项目实现Kimi K3单CPU推理

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

GitHub 项目 kimi-k3-in-c 的开发者 FareedKhan-dev 称,已用可移植 C99 代码实现 2.78 万亿参数 Kimi K3 在单个 CPU、8.24GB 内存下的推理,项目不依赖 BLAS、推理框架或 GPU,并已获得逾 1 万颗 star。 该实现通过 AVX2 SIMD、mxfp4 量化、MoE 和线性注意力等技术降低纯 CPU 推理的资源需求,展示的是在特定低内存环境中的运行能力,而非完整的性能评测结论。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. AGI Hunt
    kimi-k3-in-c 实现 Kimi K3 单 CPU 推理,最低占用 8.24GB 内存

    GitHub 项目 kimi-k3-in-c 以单 CPU 和 8.24GB 内存运行 2.78 万亿参数的 Kimi K3。项目已获 1 万+ star,代码采用可移植 C99,零依赖且不使用 BLAS、推理框架或 GPU。实现涉及 AVX2 SIMD、mxfp4 量化、MoE 与线性注意力等技术。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。