GPU 推理自动缩容：何时省下的钱不够支付冷启动开销？

Reddit 一则生产环境 LLM 推理成本讨论指出，按流量自动缩放 GPU 虽能减少闲置算力费用，但突发流量、时延要求、worker 启动及模型权重加载造成的冷启动延迟可能抵消收益。常驻 GPU、自动缩放 worker 与 serverless 推理各有利弊，AWS、Google Cloud、CoreWeave、Yotta Labs 等平台的选择方案仍取决于具体工作负载。