AGI Hunt· infectiousstupidity·· 2 小时前AI 评分18
7卡132GB显存本地推理机:EPYC整合还是双平台?
攒 7 卡 132GB 显存本地推理机:EPYC 整合还是双平台?
AI 导读
一位本地推理玩家用4x RTX 3090加3x RTX 3060组成132GB显存方案,征询长期硬件架构建议。候选方案包括投入$2500–3000将7卡集中至EPYC 7302P平台,或拆分为X570与B460双平台,以支持基于STRATA、vLLM的agentic coding工作负载。作者重点询问PCIe与内存瓶颈、CPU-offload的MoE推理表现,以及大小卡分工方案。
来源:AGI Hunt · agihunt.info