Gemma.c 开源轻量单文件推理引擎
热点事件持续更新
Gemma.c 开源轻量单文件推理引擎
1 篇报道1 个报道来源49 分钟前更新
先了解这件事
AI 综述
Gemma.c 项目作者开源了一个支持 Gemma 1、2、3 的单文件 C 推理引擎,将模型推理及多模态输入集中在一个仅依赖 libc(可选 OpenMP)的文件中,支持 fp32、fp16、bf16 和 INT8 权重,便于在 CPU 上直接运行。 作者已在 Hugging Face 提供预导出的 INT8 模型,无需 Python 或 PyTorch 即可试用。该实现仍有明确限制:W8A8 量化不支持 Gemma 1,bf16 在没有 AVX512-BF16 的机器上运行很慢,原生 Windows 速度约为 WSL 的三分之一,且不支持 batching。
AI 根据报道生成 · 10 分钟前更新
最新进展11月16日 21:58
Gemma.c 单文件实现 Gemma 1/2/3 多模态 CPU 推理报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AGI HuntGemma.c 单文件实现 Gemma 1/2/3 多模态 CPU 推理
Gemma.c 将 Gemma 1/2/3 推理引擎实现为一个仅依赖 libc 的 C 文件,支持 fp32、fp16、bf16 和 INT8 权重,并提供多模态输入能力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。