跳到正文
AGI Hunt· dazzou5ouh·· 47 分钟前AI 评分57

玩家用 8×RTX 3090 搭建本地推理集群,10 个 Agent 并行达到 370 tok/s

玩家自建 8×3090 本地推理集群:10 个 Agent 并行跑到 370 tok/s

AI 导读

Reddit 用户展示了一套由 8 张 RTX 3090 组成的本地 AI 推理工作站,并在 vLLM + opencode 上运行 Qwen 量化版,单 Agent 约 60 tok/s,10 个 Agent 并行聚合峰值达到 370 tok/s。

来源:AGI Hunt · agihunt.info