2500美元单卡本地大模型推理方案
热点事件持续更新
2500美元单卡本地大模型推理方案
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 casper_hansen 分享了一套约2500美元的本地大模型推理主机：采用单张24GB二手RTX 3090、64GB DDR5-5600内存、二手SN850X SSD和Ryzen 5 7600X；他宣称可运行Qwen3.8 27B、DeepSeek V4.1 Flash和GLM 5.3 Flash，速度分别约为150、15和10 tokens/s，并提供最高512k上下文。 同期开源项目Big-MoE-Small-Box将328GB的GLM-5.3-Flash以3-bit量化压缩至125GB，使其可在单张24GB GPU、64GB内存和NVMe上运行。方案将专家分置于显存、内存和NVMe三层，由调度器按需选择专家执行。casper_hansen称，升级PCIe 5.0 SSD后速度有望达到25 tokens/s。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 00:43
Big-MoE-Small-Box 将 328GB GLM-5.3-Flash 量化至 125GB 本地运行报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI HuntBig-MoE-Small-Box 将 328GB GLM-5.3-Flash 量化至 125GB 本地运行
开源项目 Big-MoE-Small-Box 将 328GB 的 GLM-5.3-Flash 以 3-bit 量化压缩至 125GB，可在单张 24GB GPU、64GB RAM 和 NVMe 上运行。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。