Reddit用户求教本地大模型推理配置

Reddit 用户 sitytitan 就本地运行更大模型、且不在意 token 速度的目标，公开求教推理平台配置建议。他计划使用 EPYC 7502P 32 核、8 通道内存主板、512GB DDR4，并配置 1 张 RTX 4070 12GB 和 2 张 RTX 5060 16GB，共提供 44GB 显存。 该用户同时询问，在其所称的“Project Maya 可直接从 NVMe 流式加载模型”环境下，这套由老 CPU 和 NVIDIA GPU 组成的平台是否仍有自建价值。目前报道中未给出配置结论或实际运行效果。

AI 根据报道生成 · 38 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。