AMD EPYC多卡部署吞吐实测

Reddit 用户 sleight42 公布在 vast.ai 租用 AMD EPYC 服务器测试本地大模型的结果：双路 EPYC 7642 搭配 2 张 RTX 3090 时，Strata 引擎运行 Qwen 3.8 Flash Next Unsloth Q8 单流为 94 tok/s，8 路并发总吞吐为 456 tok/s，接近线性扩展；另一台 EPYC 7K62、4 张 RTX 3090 的服务器租金为每小时 0.79 美元。 同一测试称，Maya 引擎运行 GLM 5.3F 或 DSV4.1F 时，增加并发几乎不提升总吞吐，多路请求只是分割同一输出。结果均来自该用户的租用环境实测。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。