四张V100本地运行DeepSeek实测方案

TumbleweedNew6515记录并实测了在四张2017年款Tesla V100 SXM2 32GB上本地运行DeepSeek-V4.1-Flash的方案：采用1Cat-vLLM fork、GGUF量化模型，并将约三分之一专家权重卸载至256GB DDR4 pinned RAM。模型从SATA硬盘加载约需22分钟。 实测解码速度为36—38 tok/s，适用于8K至75K上下文，thinking开关影响不大；测试128K上下文且524288 tokens的Engram文件未预热时，速度降至26 tok/s。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。