tandem.cpp发布首个正式版本
热点事件持续更新
tandem.cpp发布首个正式版本
2 篇报道1 个报道来源28 分钟前更新
先了解这件事
AI 综述
本地推理引擎 tandem.cpp 发布首个正式版本 v0.3.0,面向显存和内存不足时运行大模型,支持 DeepSeek-V4.1;开启专家缓存后,按 4096-token 批处理长提示时,处理速度提升 2 至 6 倍。 该版本目前仅支持 Linux,AMD 显卡可用但不能借用 VRAM,Windows 预编译版尚未推出。即使加速生效,模型超过 RAM 容量时,长提示仍需从 SSD 读取。
AI 根据报道生成 · 1 小时前更新
最新进展11月16日 20:22
tandem.cpp v0.3.0 发布,本地预填充提速 2-6 倍报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AGI Hunttandem.cpp v0.3.0 发布,本地预填充提速 2-6 倍
llama.cpp 补丁项目 tandem.cpp 发布首个正式版本 v0.3.0,面向模型体积超过显存与内存总和的本地推理场景。新版本通过 expert cache 等机制将长提示预填充提速 2 至 6 倍,并支持 DeepSeek-V4.1,适用于 16GB 显卡加 32GB 内存等配置。
- AGI Hunt本地推理引擎 tandem.cpp v0.3.0 发布,长提示处理提速 2-6 倍
本地推理引擎 tandem.cpp 发布首个正式版本 v0.3.0,面向显存与内存不足时的大模型加速,支持 DeepSeek-V4.1。开启专家缓存后,长提示按 4096-token 批处理,处理速度提升 2-6 倍;项目目前仅支持 Linux,模型超过 RAM 时仍需从 SSD 读取。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。