Reddit团队评估自建多GPU推理方案

一个 Reddit 团队因多人并行运行 agent 工作流频繁触发云 API 限流，正考虑将推理迁至本地，但尚未确定硬件路线。团队比较发现，单台大显存工作站能提供更大的上下文窗口，但 agent 循环反复读取文件时 prefill 停顿明显；多个小节点 prefill 更快，但约 200GB 总显存无法合并为统一资源池，模型放置仍受物理节点限制。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。