AGI Hunt· Mchanger·· 3 小时前AI 评分59
单张 3090 运行多 Agent 并发时总吞吐从 30 提升至 110 tok/s
3090 上跑多 Agent 并发：12 个 agent 总吞吐从 30 提到 110 tok/s
AI 导读
Mchanger 转述了一项在单张 3090 上运行 Qwen3 27B Q4KM 的实测，多 Agent 并发使总吞吐从单 Agent 的 30 tok/s 提升至 12 个 Agent 时的 110 tok/s。
来源：AGI Hunt · agihunt.info