Reddit用户用8卡T4搭建低成本本地LLM服务器
热点事件持续更新
Reddit用户用8卡T4搭建低成本本地LLM服务器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户 exaknight21 花费约650美元购入配备8张T4的 Asus ESC4000 G3 服务器，以独立 llama.cpp 实例和 nginx 负载均衡运行 Qwen 3.5-9B Q5KXL，单用户速度约35至40 tps，首字延迟3至5秒。 他计划用 QLoRA 微调约500GB、包含图片、扫描件、PDF、Word 和 Excel 的混合数据，但仍在权衡继续购买 RTX 3060 12GB，还是采用约700美元的 Intel B65/B70 方案；由于不确定 Unsloth 对 Intel GPU 的支持，微调硬件路线尚未确定。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 06:32
Reddit 用户以 650 美元搭建 8 卡 T4 本地 LLM 服务器，QLoRA 微调路线陷入困局报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI HuntReddit 用户以 650 美元搭建 8 卡 T4 本地 LLM 服务器，QLoRA 微调路线陷入困局
一名 Reddit 用户以 650 美元搭建 8 卡 T4 本地 LLM 服务器，为约 500GB 混合数据寻求 QLoRA 微调方案。系统运行 Qwen 3.5-9B Q5KXL，单用户约 35-40 tps、TTFT 3-5 秒；用户仍需在继续购买 3060 12GB，还是采用约 700 美元的 Intel B65/B70 之间抉择。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。