团队自建多 GPU 集群逃离云 API 限流：单机大显存与多节点之争

一个 Reddit 团队因多人并行跑 agent 工作流频繁撞上 API 限流，考虑把推理搬回本地，并对比两条硬件路线：单台大工作站上下文窗口大但 agent 循环重读文件时 prefill 停顿明显，多个小节点 prefill 更快但 200GB 总显存无法合并成一个池子，模型放置受物理约束。