跳到正文
AGI Hunt· ggerganov·· 2 小时前精选AI 评分76

llama.cpp 发布 v0.9.0 并筹备 v1.0.0 大版本

llama.cpp 发布 v0.9.0,数周内将迎来 v1.0.0 大版本

AI 导读

llama.cpp 发布 v0.9.0,ggml 团队宣布将在未来数周筹备 v1.0.0 大版本。v0.9.0 新增 OCP FP8 E4M3 量化、flashattnextrows 算子、通用批量张量拷贝 API,以及 Clover、Limite、Metis-1.6、Mistral Large 4 四种模型架构支持。

推荐理由

更新覆盖量化、KV cache、多节点张量并行及多种模型架构,并给出了 v1.0.0 的近期发布计划。

来源:AGI Hunt · agihunt.info