跳到正文
AGI Hunt· CurieuxExplorer·· 1 小时前精选AI 评分80

微软开源 bitnet.cpp 推理框架,支持单 CPU 运行 1000 亿参数 1-bit 模型

微软开源BitNet推理框架:单CPU跑千亿参数模型

AI 导读

微软开源 1-bit LLM 推理框架 bitnet.cpp,采用 MIT 协议,GitHub 已获 41.6k star。项目宣称无需 GPU,单颗 x86 CPU 即可运行 1000 亿参数 1-bit 模型,速度最高提升 6 倍,能耗降低 82%。

推荐理由

内容介绍 bitnet.cpp 的运行方式与性能数据,并提供 GitHub 入口,便于评估其部署成本和实际适用性。

来源:AGI Hunt · agihunt.info