混合显卡双卡跑大模型反而降速

Reddit 用户 LMasterGame 称，在 AMD Radeon AI Pro R9700、NVIDIA RTX 4500 Ada 和 W7800 三卡环境中，采用前两张卡进行 Vulkan 版 llama.cpp 双卡 layer split，本地大模型吞吐反而低于单张 R9700：Qwen 3.8 Q6K 为 30 对 40 tok/s，Gemma 4 QAT 为 32 对 50 tok/s。 该结果基于 CW-W680-NAS 主板、144GB 内存及自编译 Vulkan 版 llama.cpp 的个人实测，说明这套混合双卡配置在该测试中未提升生成速度，并不能直接代表所有模型、驱动或多卡组合。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。