LLM网关性能评测需关注高并发流式

从事LLM网关基础设施的工程师jkriket分享了压测方法，称只报告p50延迟不足以反映网关在持续并发下的真实性能，应重点考察数千并发SSE流下的p99首token时间和流完成延迟。 他建议先用固定响应延迟的mock LLM provider建立直连基线，区分网关、网络和压测器开销，并采用开环压测，避免网关变慢导致请求到达速率同步下降、掩盖高负载问题。普通JSON请求表现良好的网关，在OpenAI与Anthropic格式互转等流式场景下可能呈现不同瓶颈，因此需将流式请求单独测试。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。