跳到正文
AGI Hunt· sleight42·· 2 小时前AI 评分59

Reddit 实测:AMD EPYC 多卡 RTX 3090 运行 Qwen Q8 达 94 tok/s,8 路并发近线性扩展

Reddit 实测:AMD EPYC+多卡 3090 跑 Qwen Q8 达 94 tok/s,8 路并发近线性扩展

AI 导读

Reddit 上一位用户在 vast.ai 租用服务器实测,AMD EPYC 多卡 RTX 3090 运行 Qwen 3.8 Flash Next Unsloth Q8 单流达 94 tok/s,8 路并发总速率达 456 tok/s。

来源:AGI Hunt · agihunt.info