跳到正文
AGI Hunt· Jasonio·· 3 小时前AI 评分73

开源推理引擎 TensorFold for Mac 发布 1.0:RTX PRO 6000 上 Nemotron 解码达 874 tok/s

开源推理引擎 TensorFold 发布 1.0:RTX PRO 6000 上跑出 874 tok/s

AI 导读

开源本地推理项目 TensorFold for Mac 发布 1.0.0 首个稳定版,Linux 和 Windows 版即将跟进,主打用自有 GPU 原生 Metal / CUDA 快速运行开源模型,支持 Qwen、Nemotron、GLM、LFM,并提供 OpenAI 兼容 API。

来源:AGI Hunt · agihunt.info