跳到正文
AGI Hunt· smflx·· 2 小时前AI 评分61

本地推理引擎 tandem.cpp v0.3.0 发布,长提示处理提速 2-6 倍

tandem.cpp v0.3.0:长提示处理提速 2-6 倍,支持 DeepSeek-V4.1

AI 导读

本地推理引擎 tandem.cpp 发布首个正式版本 v0.3.0,面向显存与内存不足时的大模型加速,支持 DeepSeek-V4.1。开启专家缓存后,长提示按 4096-token 批处理,处理速度提升 2-6 倍;项目目前仅支持 Linux,模型超过 RAM 时仍需从 SSD 读取。

来源:AGI Hunt · agihunt.info