Basalt加速DeepSeek V4.1本地运行

开发者 jesdga95 使用自研推理引擎 Basalt，让 DeepSeek V4.1 Flash 1017 的 IQ1S 量化版在 RTX 5090 上达到 53.6 tok/s 解码、610 tok/s 预填充；再由 RTX 5060 Ti 16GB 分担部分专家计算后，解码速度升至 63.5 tok/s。 该方案将全部 107 GiB 专家权重驻留内存，以 RTX 5090 缓存热点专家，因此并非所有权重都只靠单张显卡承载。测试结果高于 llama.cpp --fit 的 20 tok/s，并支持工具调用、图像处理和最高 100 万上下文，但处理 100 万 token 提示约需 26 分钟。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。