跳到正文
AGI Hunt· infectiousstupidity·· 2 小时前AI 评分18

7卡132GB显存本地推理机:EPYC整合还是双平台?

攒 7 卡 132GB 显存本地推理机:EPYC 整合还是双平台?

AI 导读

一位本地推理玩家用4x RTX 3090加3x RTX 3060组成132GB显存方案,征询长期硬件架构建议。候选方案包括投入$2500–3000将7卡集中至EPYC 7302P平台,或拆分为X570与B460双平台,以支持基于STRATA、vLLM的agentic coding工作负载。作者重点询问PCIe与内存瓶颈、CPU-offload的MoE推理表现,以及大小卡分工方案。

来源:AGI Hunt · agihunt.info