跳到正文
AGI Hunt· smflx·· 43 分钟前AI 评分60

tandem.cpp v0.3.0 发布,本地预填充提速 2-6 倍

tandem.cpp v0.3.0 发布,大模型本地预填充提速 2-6 倍

AI 导读

llama.cpp 补丁项目 tandem.cpp 发布首个正式版本 v0.3.0,面向模型体积超过显存与内存总和的本地推理场景。新版本通过 expert cache 等机制将长提示预填充提速 2 至 6 倍,并支持 DeepSeek-V4.1,适用于 16GB 显卡加 32GB 内存等配置。

来源:AGI Hunt · agihunt.info