跳到正文
热点事件持续更新

TensorFold 1.3.0强化推理与显存管理

2 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

开源推理框架 TensorFold 发布 1.3.0:GLM-5.3-Flash 在两块 RTX PRO 6000 Blackwell 上以 CUDA/TP=2、NVFP4 experts 且关闭 drafts 运行,吞吐由 83.8 升至 104.1 tok/s,输出保持比特一致;Metal 后端也获得性能优化。 开发者 sashmit 称,其用两台 512GB M5 Ultra Mac Studio 通过 Thunderbolt 5 跑通 320B GLM-5.3-Flash,开启 TensorFold 和 drafts 时单用户速度为 137 tok/s,关闭 drafts 后为 105 tok/s;32 人并发总吞吐约 260 tok/s,30 分钟测试零错误。该结果为开发者自测,发布方未复跑。 1.3.0 还让 CUDA Flash Next 加载 NVFP4 导出后释放约 3 GiB 页缓存,Linux 可按需将 KV 页映射给并发流;模型工具可标记适配本机的 chat checkpoint,Metal 内存估算也纳入上下文与并发流。

AI 根据报道生成 · 58 分钟前更新

事件进展

2 个进展

  1. 11月23日 00:26 · 1 篇报道
    开发者实测双Mac Studio部署320B模型
    AGI Hunt:开发者用两台 M5 Ultra Mac Studio 跑通 320B GLM-5.3-Flash,32 人并发零报错
  2. 11月20日 07:51 · 1 篇报道
    TensorFold 发布 1.3.0
    AGI Hunt:开源推理框架 TensorFold 1.3.0 发布,GLM-5.3-Flash 吞吐提升至 104 tok/s

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    开发者用两台 M5 Ultra Mac Studio 跑通 320B GLM-5.3-Flash,32 人并发零报错

    开发者 @sashmit 用两台 M5 Ultra 512GB Mac Studio 和一根 Thunderbolt 5 线跑通了 320B 的 GLM-5.3-Flash,开启 TensorFold 和 drafts 时单用户速度为 137 tok/s,关闭 drafts 后为 105 tok/s。

11月20日
  1. AGI Hunt
    开源推理框架 TensorFold 1.3.0 发布,GLM-5.3-Flash 吞吐提升至 104 tok/s

    开源推理框架 TensorFold 发布 1.3.0,GLM-5.3-Flash 在两块 RTX PRO 6000 Blackwell 上以 CUDA/TP=2 运行时,吞吐从 83.8 提升至 104.1 tok/s。

本事件热度走势

可比范围当前
10
可比范围峰值
1011月23日 01:00
近 24 小时变化
+227%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。