TensorFold 1.3.0强化推理与显存管理
先了解这件事
开源推理框架 TensorFold 发布 1.3.0:GLM-5.3-Flash 在两块 RTX PRO 6000 Blackwell 上以 CUDA/TP=2、NVFP4 experts 且关闭 drafts 运行,吞吐由 83.8 升至 104.1 tok/s,输出保持比特一致;Metal 后端也获得性能优化。 开发者 sashmit 称,其用两台 512GB M5 Ultra Mac Studio 通过 Thunderbolt 5 跑通 320B GLM-5.3-Flash,开启 TensorFold 和 drafts 时单用户速度为 137 tok/s,关闭 drafts 后为 105 tok/s;32 人并发总吞吐约 260 tok/s,30 分钟测试零错误。该结果为开发者自测,发布方未复跑。 1.3.0 还让 CUDA Flash Next 加载 NVFP4 导出后释放约 3 GiB 页缓存,Linux 可按需将 KV 页映射给并发流;模型工具可标记适配本机的 chat checkpoint,Metal 内存估算也纳入上下文与并发流。
AI 根据报道生成 · 58 分钟前更新
事件进展
2 个进展
- 11月23日 00:26 · 1 篇报道开发者实测双Mac Studio部署320B模型AGI Hunt:开发者用两台 M5 Ultra Mac Studio 跑通 320B GLM-5.3-Flash,32 人并发零报错
- 11月20日 07:51 · 1 篇报道TensorFold 发布 1.3.0AGI Hunt:开源推理框架 TensorFold 1.3.0 发布,GLM-5.3-Flash 吞吐提升至 104 tok/s
报道时间线
沿着报道,了解事件的不同侧面。
- AGI Hunt开发者用两台 M5 Ultra Mac Studio 跑通 320B GLM-5.3-Flash,32 人并发零报错
开发者 @sashmit 用两台 M5 Ultra 512GB Mac Studio 和一根 Thunderbolt 5 线跑通了 320B 的 GLM-5.3-Flash,开启 TensorFold 和 drafts 时单用户速度为 137 tok/s,关闭 drafts 后为 105 tok/s。
- AGI Hunt开源推理框架 TensorFold 1.3.0 发布,GLM-5.3-Flash 吞吐提升至 104 tok/s
开源推理框架 TensorFold 发布 1.3.0,GLM-5.3-Flash 在两块 RTX PRO 6000 Blackwell 上以 CUDA/TP=2 运行时,吞吐从 83.8 提升至 104.1 tok/s。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1011月23日 01:00
- 近 24 小时变化
- +227%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。