Tandem-vLLM 0.2.0扩展消费级GPU支持

Tandem-vLLM 项目方发布 0.2.0，将 DeepSeek-V4.1-Flash 的消费级 GPU 支持从 Blackwell 扩展至 Hopper、Ada 和 Ampere，包括 RTX 3090/4090、A6000、H100/H200，并新增双卡运行方案。 该版本将路由到的 MoE 专家以 2-bit 向量量化存入主机内存，由 GPU 缓存常用专家；缓存未命中时，CPU 与 GPU 并行计算。双卡模式下，第二张卡负责缓存和计算主卡未容纳的热门专家，CPU 资源全部留给主卡，适合 CPU 较弱、搭配 24GB 显卡的环境。运行要求包括 Linux、CUDA 13、支持 AVX2/AVX-512 的 CPU、至少 128GB 内存（建议 256GB）及 300GB 磁盘空间。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。