跳到正文
AGI Hunt· capetorch·· 3 小时前AI 评分29

单卡 RTX 6000 运行 DSF4.1 达 280 tok/s,社区追问 500 tok/s 实现方法

单卡 RTX 6000 跑 DSF4.1 达 280 tok/s,社区追问如何冲上 500

AI 导读

一名发帖者称,在单张非 NVLink RTX 6000 上运行 DSF4.1,推理速度已达 280 tok/s,并追问社区实现 500 tok/s 的方法。该讨论反映了开源社区在消费级与工作站 GPU 上探索大模型推理吞吐的最新水位,但 500 tok/s 的具体配置尚待披露。

来源:AGI Hunt · agihunt.info