跳到正文
AGI Hunt· exaknight21·· 3 小时前AI 评分35

Reddit 用户以 650 美元搭建 8 卡 T4 本地 LLM 服务器,QLoRA 微调路线陷入困局

650 美元攒 8 卡 T4 服务器跑本地 LLM,QLoRA 微调路线陷入困局

AI 导读

一名 Reddit 用户以 650 美元搭建 8 卡 T4 本地 LLM 服务器,为约 500GB 混合数据寻求 QLoRA 微调方案。系统运行 Qwen 3.5-9B Q5KXL,单用户约 35-40 tps、TTFT 3-5 秒;用户仍需在继续购买 3060 12GB,还是采用约 700 美元的 Intel B65/B70 之间抉择。

来源:AGI Hunt · agihunt.info