双路 Xeon、768GB 内存老工作站跑本地 LLM 还有没有用武之地

一位 Reddit 用户询问手头的 2018 年左右 HP Z8 工作站是否仍适合运行本地 LLM。该工作站配备双路 Xeon Gold 6248R、768GB 2933MHz DDR4 内存、RTX 3090 显卡和大容量存储，社区建议利用 CPU 和内存运行大参数量化模型，或将单张 24GB 显卡的组合作为推理与实验辅助节点。