跳到正文
AGI Hunt· simonguozirui·· 1 小时前AI 评分69

llama.cpp 新增 llama serve 命令支持 Inkling 2 Mini 一行启动服务

llama.cpp 新增 llama serve 命令,Inkling 2 Mini GGUF 一行即起服务

AI 导读

llama.cpp 新增 llama serve 命令,可通过 `llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4NL` 从 Hugging Face 拉取 Inkling 2 Mini 的 IQ4NL 量化版并启动本地服务。

来源:AGI Hunt · agihunt.info