Spotify 用 SGLang 单次请求批量打分，优化播客生成式推荐推理开销

Spotify 采用 SGLang Score API，在单次请求内完成播客候选批量打分与排序。其通过 multi-item scoring 和候选掩码隔离各候选 token 块，并复用系统提示与用户历史的 KV 缓存，避免传统逐候选请求造成成本随候选数线性增长。该特性由 LinkedIn 工程团队参与贡献，Spotify 还与 NVIDIA 合作开展 TensorRT-LLM 推理优化。