AGI Hunt· sitytitan·· 1 小时前AI 评分25
EPYC 7502P 32 核配 44GB 显存，本地运行大模型还有必要自建吗？
EPYC 32 核加 44GB 显存跑本地大模型，还有必要自建吗？
AI 导读
一名 Reddit 用户求教本地大模型推理配置：EPYC 7502P 32 核、8 通道内存主板和 512GB DDR4，配 1 张 RTX 4070 12GB 与 2 张 RTX 5060 16GB，共 44GB 显存。其目标是运行更大模型且不在意 token 速度，并询问在 Project Maya 可从 NVMe 流式加载模型后，这一老平台是否仍值得自建。
来源：AGI Hunt · agihunt.info