AGI Hunt· recentheartbroken·· 4 小时前AI 评分63
月耗 5B tokens 时，自托管 8 卡 H200 与 API 的成本对比
月耗 5B tokens 是买 8 卡 H200 还是付 API?算账结果约 4.8B 打平
AI 导读
一位 GPU 系统从业者测算，自托管 8 卡 H200 与 API 的成本打平点约为每月 4.8B tokens。8 卡节点约 $329k，按 48 个月摊销并计入每月约 $800 电费和 25% 运维开销后，月固定成本约 $9.6k，API 定价按每百万 tokens $2 计算。
来源：AGI Hunt · agihunt.info