单张3090多Agent总吞吐提升

Mchanger称，在单张24GB显存的RTX 3090上运行Qwen3 27B Q4KM模型并设置197k上下文时，采用多Agent并发可显著提高总token吞吐量：单Agent约为30 tok/s，扩展至12个Agent后合计达到110 tok/s。 不过，这一提升来自同时处理多个任务，多Agent模式下每个Agent的生成速度和可用缓存均低于单Agent模式；该结果仅对应上述模型、量化版本与单卡3090环境。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。