AGI Hunt· ggerganov·· 2 小时前精选AI 评分76
llama.cpp 发布 v0.9.0 并筹备 v1.0.0 大版本
llama.cpp 发布 v0.9.0,数周内将迎来 v1.0.0 大版本
AI 导读
llama.cpp 发布 v0.9.0,ggml 团队宣布将在未来数周筹备 v1.0.0 大版本。v0.9.0 新增 OCP FP8 E4M3 量化、flashattnextrows 算子、通用批量张量拷贝 API,以及 Clover、Limite、Metis-1.6、Mistral Large 4 四种模型架构支持。
推荐理由
更新覆盖量化、KV cache、多节点张量并行及多种模型架构,并给出了 v1.0.0 的近期发布计划。
来源:AGI Hunt · agihunt.info