跳到正文
热点事件持续更新

tandem.cpp发布首个正式版本

2 篇报道1 个报道来源28 分钟前更新

先了解这件事

AI 综述

本地推理引擎 tandem.cpp 发布首个正式版本 v0.3.0,面向显存和内存不足时运行大模型,支持 DeepSeek-V4.1;开启专家缓存后,按 4096-token 批处理长提示时,处理速度提升 2 至 6 倍。 该版本目前仅支持 Linux,AMD 显卡可用但不能借用 VRAM,Windows 预编译版尚未推出。即使加速生效,模型超过 RAM 容量时,长提示仍需从 SSD 读取。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    tandem.cpp v0.3.0 发布,本地预填充提速 2-6 倍

    llama.cpp 补丁项目 tandem.cpp 发布首个正式版本 v0.3.0,面向模型体积超过显存与内存总和的本地推理场景。新版本通过 expert cache 等机制将长提示预填充提速 2 至 6 倍,并支持 DeepSeek-V4.1,适用于 16GB 显卡加 32GB 内存等配置。

  2. AGI Hunt
    本地推理引擎 tandem.cpp v0.3.0 发布,长提示处理提速 2-6 倍

    本地推理引擎 tandem.cpp 发布首个正式版本 v0.3.0,面向显存与内存不足时的大模型加速,支持 DeepSeek-V4.1。开启专家缓存后,长提示按 4096-token 批处理,处理速度提升 2-6 倍;项目目前仅支持 Linux,模型超过 RAM 时仍需从 SSD 读取。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。