AGI Hunt· sleight42·· 2 小时前AI 评分59
Reddit 实测:AMD EPYC 多卡 RTX 3090 运行 Qwen Q8 达 94 tok/s,8 路并发近线性扩展
Reddit 实测:AMD EPYC+多卡 3090 跑 Qwen Q8 达 94 tok/s,8 路并发近线性扩展
AI 导读
Reddit 上一位用户在 vast.ai 租用服务器实测,AMD EPYC 多卡 RTX 3090 运行 Qwen 3.8 Flash Next Unsloth Q8 单流达 94 tok/s,8 路并发总速率达 456 tok/s。
来源:AGI Hunt · agihunt.info