AGI Hunt· sitytitan·· 2 小时前AI 评分18
3360 美元 Threadripper 本地推理主机:Qwen 27B 等大模型 token/s 求速
3360 美元攒 256GB 内存 Threadripper,求跑大模型推理速率建议
AI 导读
一名 Reddit 用户以 3360 美元搭建 Threadripper 本地推理主机,配备 2x 16GB 4060 Ti、1x 12GB 4070 和 256GB DDR4 内存,询问运行 Qwen 27B 256K 上下文及更大模型的 token/s。主机共 44GB 显存,内存带宽约 100GB/s,成为主要瓶颈;用户希望测试 DeepSeek、GLM 等模型。
来源:AGI Hunt · agihunt.info