AGI Hunt· smflx·· 2 小时前AI 评分61
本地推理引擎 tandem.cpp v0.3.0 发布,长提示处理提速 2-6 倍
tandem.cpp v0.3.0:长提示处理提速 2-6 倍,支持 DeepSeek-V4.1
AI 导读
本地推理引擎 tandem.cpp 发布首个正式版本 v0.3.0,面向显存与内存不足时的大模型加速,支持 DeepSeek-V4.1。开启专家缓存后,长提示按 4096-token 批处理,处理速度提升 2-6 倍;项目目前仅支持 Linux,模型超过 RAM 时仍需从 SSD 读取。
来源:AGI Hunt · agihunt.info