跳到正文
AGI Hunt· AIFlow_ML·· 1 小时前AI 评分51

开发者用两台 M5 Ultra Mac Studio 跑通 320B GLM-5.3-Flash,32 人并发零报错

两台 Mac Studio 跑 320B 模型:单用户 137 tok/s,32 人并发零报错

AI 导读

开发者 @sashmit 用两台 M5 Ultra 512GB Mac Studio 和一根 Thunderbolt 5 线跑通了 320B 的 GLM-5.3-Flash,开启 TensorFold 和 drafts 时单用户速度为 137 tok/s,关闭 drafts 后为 105 tok/s。

来源:AGI Hunt · agihunt.info