LLM Batch API 的 50% 折扣应乘以可等待流量占比，并排在选模型和缓存之后

Arpit Bhayani 拆解了 LLM Batch API 的成本节省逻辑：实际节省等于 50% 折扣乘以可容忍 24 小时延迟的流量占比，60% 流量符合条件时可省 30%。Batch 折扣作用于 prompt caching 之后的剩余金额，因此应先选择能力与成本合适的模型，再开启缓存，最后决定哪些流量使用 Batch API。