Runpod 工程师演示用 BenchPod 基准测试优化 vLLM 配置

Runpod 前驻部署工程师 Chris Vela 演示基于 vLLM 的基准测试面板 BenchPod，可在不重启的情况下实时测试不同配置。演讲指出，应从使用场景和并发量出发选择配置，而不是直接套用默认值；他在 B300 GPU 上运行 Kimi K3 时发现，调低 max batch tokens 能显著降低 token 间延迟。