单卡运行552B模型方案公开

uniVocity发布本地部署教程，介绍一名Reddit用户如何在单张24GB RTX 3090 Ti、128GB DDR4内存和Threadripper 3990X上运行量化大模型。教程称，DeepSeek-V4.1-Flash-1017这一552B MoE模型采用XQ/GSQ量化、FP4 KV和NVMe Engram后，解码速度约35 tok/s。 教程还称，125B MoE模型Qwen3.8-Flash-Next在同一套硬件上可达约138 tok/s，并通过解除RTX 3000系列消费级Ampere卡在FP16/BF16矩阵指令上的人工限速提升性能；运行所需依赖包括Gentoo、GCC 14和CUDA工具包。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。