单卡多模型热切换受软件瓶颈拖累

Reddit 用户在单张 RTX 3090（24GB）上用 llama.cpp / llama-server 实测两个约 14–18GB 模型来回切换，每次需 25–30.5 秒，远高于 PCIe 3.0 x16 传输约 1.2–1.5 秒的理论速度。 该用户将空闲模型权重放在页锁定的主机内存，并通过 cudaMemcpyAsync 异步 DMA 写入预分配显存后重指图指针；结果表明，热切换的实际耗时主要受软件搬运与切换流程限制，而非显卡间物理带宽本身。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。