capy-flash v0.7.4支持双卡并行推理

开发者 FeydRowan 发布自研推理引擎 capy-flash v0.7.4，面向两张消费级 RTX 50 显卡的 PCIe 张量并行；其双 RTX 5070 Ti 运行 Qwen3.8-27B、采用 NVFP4+DFlash2 验证时，解码速度达到 379 tok/s。 该版本支持 Qwen3.8-Flash-Next 与 Qwen3.8-27B，可先使用一张卡、后续增加第二张，无需更换引擎或模型文件；内置跨卡共享的 VRAM 专家缓存，未命中部分由 CPU 计算，并针对 NVIDIA NVFP4 量化进行了优化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。