7卡本地推理机架构征求实测建议

一名本地推理玩家用4张RTX 3090和3张RTX 3060组成132GB显存方案，公开征求长期架构建议，尚未确定采用集中式还是双平台方案。 集中方案拟将7张卡接入EPYC 7302P服务器，配SP3主板及128–256GB ECC DDR4，以改善PCIe通道和内存带宽，但仅主板与内存预计需2500–3000美元。低成本方案则保留X570上的4张3090，把3张3060放入B460副机，但受PCIe和内存限制。 其工作负载包括STRATA、vLLM上的大MoE规划与审查、Qwen 27B dense实现，以及小模型路由、embedding、rerank和语音转写；他希望获得相关一手实测经验，而非理论带宽数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。